[論文レビュー] Enhancing Traffic Incident Management with Large Language Models: A Hybrid Machine Learning Approach for Severity Classification

Artur Grigorev, Khaled Saleh+2 more|arXiv (Cornell University)|Mar 20, 2024

Traffic Prediction and Management Techniques被引用数 6

ひとこと要約

本論文は、交通事故の重大度を分類する際に、 大規模言語モデルの特徴を従来の機械学習モデルと統合することを調査し、3つの国際データセットにわたって複数のLLMとMLアルゴリズムを比較します。ランダムフォレストとXGBoostは、LLM特徴と併用することで、従来の特徴量エンジニアリングと同等またはそれを上回ることが多いです。

ABSTRACT

This research showcases the innovative integration of Large Language Models into machine learning workflows for traffic incident management, focusing on the classification of incident severity using accident reports. By leveraging features generated by modern language models alongside conventional data extracted from incident reports, our research demonstrates improvements in the accuracy of severity classification across several machine learning algorithms. Our contributions are threefold. First, we present an extensive comparison of various machine learning models paired with multiple large language models for feature extraction, aiming to identify the optimal combinations for accurate incident severity classification. Second, we contrast traditional feature engineering pipelines with those enhanced by language models, showcasing the superiority of language-based feature engineering in processing unstructured text. Third, our study illustrates how merging baseline features from accident reports with language-based features can improve the severity classification accuracy. This comprehensive approach not only advances the field of incident management but also highlights the cross-domain application potential of our methodology, particularly in contexts requiring the prediction of event outcomes from unstructured textual data or features translated into textual representation. Specifically, our novel methodology was applied to three distinct datasets originating from the United States, the United Kingdom, and Queensland, Australia. This cross-continental application underlines the robustness of our approach, suggesting its potential for widespread adoption in improving incident management processes globally.

研究の動機と目的

• 全文の事故報告から抽出したLLM特徴が、従来の特徴量エンジニアリングよりも重大度分類を改善するかを評価する。
• 事故の重大度予測のためのLLMと機械学習モデルの組み合わせを評価する。
• ベースライン特徴とNLP由来特徴を組み合わせると予測精度が向上するかを判断する。

提案手法

• 列名と値を結合して事故レポートを全文表現に変換する。
• さまざまなLLMを用いて全文の説明から数値特徴量を抽出する（例：BERT系、XLNet、RoBERTa、ALBERT）。
• ベースライン、NLP、結合特徴量セットで、XGBoost、LightGBM、Random Forest、KNNなどのMLモデルを訓練・比較する。
• 等量抽出でデータセットのバランスを取り、ゼロ分散特徴を除去する。
• F1スコア、精度、適合率、再現率などの指標を用いたクロスバリデーションで評価する。

実験結果

リサーチクエスチョン

• RQ1 LLM由来の特徴は、事故の重大度に対する従来の特徴量エンジニアリングと比較して分類性能を向上させますか？
• RQ2 最も良い重大度予測を生み出すLLMとMLモデルの組み合わせはどれですか？
• RQ3 ベースライン特徴とNLP特徴を組み合わせると、いずれか一方の特徴のみよりも性能が向上しますか？

主な発見

• 従来の特徴量と組み合わせた場合、LLM特徴は性能を向上させるか、同等にする傾向があり、特に木ベースのモデルで顕著です。
• 本タスクでは異なる言語モデル間に明らかな差は見られず、使用された事故の説明文における識別情報が限定的であることを示唆しています。
• 結合特徴量（レポート + NLP）を用いたクイーンズランド州データで報告された最高のF1スコアは0.65で、GPT-2特徴を用いたRandomForestによるものです。
• XGBoostはBERT特徴を用いてクイーンズランド州データで競争力のあるF1スコア0.56を達成しました。
• 全体として、LLM特徴とベースライン特徴を組み合わせると、いずれか単独の場合よりも重大度分類の性能が向上する傾向があります。