[論文レビュー] inTformer: A Time-Embedded Attention-Based Transformer for Crash Likelihood Prediction at Intersections Using Connected Vehicle Data

B M Tazbiul Hassan Anik, Zubayer Islam+1 more|arXiv (Cornell University)|Jul 7, 2023

Traffic Prediction and Management Techniques被引用数 5

ひとこと要約

本論文では、コネクテッドビークルデータを活用して交差点での衝突確率をリアルタイムで予測する、タイムエムbeddedアテンションベースのトランスフォーマーモデルであるinTformerを提案する。交差点を「交差点内」と「進入領域」の2つのゾーンに分割することで、交差点内ゾーンでは73%の感受性、進入領域ゾーンでは70%の感受性を達成し、同じデータセット上で先行するディープラーニングモデルを上回る性能を発揮した。

ABSTRACT

The real-time crash likelihood prediction model is an essential component of the proactive traffic safety management system. Over the years, numerous studies have attempted to construct a crash likelihood prediction model in order to enhance traffic safety, but mostly on freeways. In the majority of the existing studies, researchers have primarily employed a deep learning-based framework to identify crash potential. Lately, Transformer has emerged as a potential deep neural network that fundamentally operates through attention-based mechanisms. Transformer has several functional benefits over extant deep learning models such as LSTM, CNN, etc. Firstly, Transformer can readily handle long-term dependencies in a data sequence. Secondly, Transformers can parallelly process all elements in a data sequence during training. Finally, a Transformer does not have the vanishing gradient issue. Realizing the immense possibility of Transformers, this paper proposes inTersection-Transformer (inTformer), a time-embedded attention-based Transformer model that can effectively predict intersection crash likelihood in real-time. The proposed model was evaluated using connected vehicle data extracted from Signal Analytics Platform. Acknowledging the complex traffic operation mechanism at intersection, this study developed zone-specific models by dividing the intersection region into two distinct zones: within-intersection and approach zone. The best inTformer models in 'within-intersection,' and 'approach' zone achieved a sensitivity of 73%, and 70%, respectively. The zone-level models were also compared to earlier studies on crash likelihood prediction at intersections and with several established deep learning models trained on the same connected vehicle dataset.

研究の動機と目的

• コネクテッドビークルデータを用いて交差点におけるリアルタイムの衝突確率予測モデルを開発すること。
• 高速道路に焦点を当てた衝突予測研究のギャップを埋めるために、複雑な交差点環境に注目すること。
• トランスフォーマーのアテンションメカニズムを活用して長期的な依存関係をモデル化し、従来のRNNやCNNよりも予測精度を向上させること。
• 交差点内の異なる領域における交通ダイナミクスを反映するために、ゾーン別モデル（交差点内および進入領域）を構築すること。
• 公平な比較のため、同じコネクテッドビークルデータセットを用いて、提案モデルを既存のディープラーニングモデルと比較すること。

提案手法

• inTformerモデルは、コネクテッドビークルデータの時系列系列を処理するためにタイムエムbeddedマルチヘッド自己アテンション機構を採用している。
• 時系列の順序と系列のダイナミクスを保持するために、入力表現に明示的に時系列埋め込みが組み込まれている。
• 交差点領域は、「交差点内」と「進入領域」という2つの明確に分離されたゾーンに分割され、それぞれの交通行動に特化した別々のモデルが学習される。
• モデルは、シグナルアナリティクスプラットフォームから抽出されたコネクテッドビークルデータを、速度、位置、時刻付きの車両移動などの系列特徴に基づいて、エンドツーエンドで学習する。
• アテンション重みは、系列内のすべての時刻ステップ間で計算され、並列処理が可能となり、RNNで一般的に見られる消失勾配問題を軽減する。
• 最終的な予測ヘッドは、符号化された系列表現に基づいて、所定の時間ウィンドウ内に衝突が発生する可能性を出力する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデルは、コネクテッドビークルデータを用いて交差点での衝突確率を効果的に予測できるか？
• RQ2 inTformerモデルの性能は、同じ交差衝突予測タスクにおいて、既存のディープラーニングモデル（例：LSTM、CNN）と比較してどうなるか？
• RQ3 交差点を「交差点内」と「進入領域」という2つの明確なゾーンに分けることで、統合された単一モデルよりも予測精度が向上するか？
• RQ4 時系列埋め込みの導入が、衝突予測に不可欠な時間的依存関係を捉える能力をどの程度向上させるか？
• RQ5 inTformerモデルは、交差点の異なるゾーンで、直前の衝突を検出する感度がどの程度か？

主な発見

• inTformerモデルは、『交差点内』ゾーンで73%の感受性を達成し、コアな交差点領域における潜在的衝突の検出能力が優れていることを示している。
• 『進入領域』ゾーンでは70%の感受性を達成し、車両が交差点に接近する際の衝突確率予測が効果的に行えることを示している。
• ゾーン別モデル化アプローチにより、各領域固有の交通ダイナミクスを捉えることができ、単一の統合モデルを上回る性能を発揮した。
• 同じコネクテッドビークルデータセット上で、LSTM や CNN などのベースラインディープラーニングモデルを上回り、特に長期的な時系列依存関係の処理において優れた性能を示した。
• タイムエムbeddedアテンション機構の導入により、系列モデリングが向上し、再帰的アーキテクチャに比べて消失勾配問題が軽減された。
• トレーニング中に系列を並列処理できる能力が、大規模なコネクテッドビークルデータに対して収束が速く、スケーラビリティが向上した。