[論文レビュー] TrafFormer: A Transformer Model for Predicting Long-term Traffic

David Alexander Tedjopurnomo, Farhana Choudhury+1 more|arXiv (Cornell University)|Feb 24, 2023

Traffic Prediction and Management Techniques被引用数 5

ひとこと要約

TrafFormerは、空間時間的マルチヘッドアテンションと学習可能な時刻・曜日埋め込みを用いて、複雑な時間的パターンを捉えることで、再帰型モデルの限界を克服した24時間先までの長期交通予測のための新しいTransformerベースのモデルを提案する。実験の結果、METR-LAおよびPEMS-Bayデータセットにおいて、複数の指標で既存のハイブリッドディープラーニングモデルを上回る性能を発揮した。

ABSTRACT

Traffic prediction is a flourishing research field due to its importance in human mobility in the urban space. Despite this, existing studies only focus on short-term prediction of up to few hours in advance, with most being up to one hour only. Long-term traffic prediction can enable more comprehensive, informed, and proactive measures against traffic congestion and is therefore an important task to explore. In this paper, we explore the task of long-term traffic prediction; where we predict traffic up to 24 hours in advance. We note the weaknesses of existing models--which are based on recurrent structures--for long-term traffic prediction and propose a modified Transformer model "TrafFormer". Experiments comparing our model with existing hybrid neural network models show the superiority of our model.

研究の動機と目的

• 既存の研究が1時間以内の短期予測に限定していることから、長期交通予測における研究ギャップを埋める。
• 誤差伝搬のための不安定性に起因する再帰型ニューラルネットワークの長期予測における限界を克服する。
• 短時間・中時間・長時間の交通パターンを効果的に捉える新しいディープラーニングアーキテクチャを開発する。
• 空間時間的マルチヘッドアテンションと学習可能な時刻・曜日埋め込みを備えた、新しいTransformerベースのモデルTrafFormerを提案する。
• 最先端のハイブリッドニューラルネットワークモデルと比較して、1日先の交通予測において優れた性能を示す。

提案手法

• 24時間先の長期交通予測に特化した、修正されたTransformerモデル、TrafFormerを導入する。
• 異なる時間ステップおよびセンサ位置間の依存関係をモデル化する空間時間的マルチヘッドアテンション機構を組み込む。
• 時間と曜日のパターンを符号化するための学習可能な時刻・曜日埋め込みを用い、中・長期トレンドを捉える。
• 誤差蓄積を避けるために、再帰構造を自己アテンションに置き換える。
• 過去1時間分および過去1日分のデータを入力として、ループ検出器からの歴史的交通速度および流量データをエンドツーエンドで訓練する。
• 周期的時間および曜日特徴を適応させた位置エンコーディングを適用し、時間的周期性のモデリングを改善する。

Figure 2: The time-day embedding process

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、24時間先までの長期交通予測において、再帰型ニューラルネットワークベースのモデルを上回ることができるか？
• RQ2 静的周期的特徴と比較して、学習可能な時刻・曜日埋め込みは中・長期交通パターンをどれほど効果的に捉えられるか？
• RQ3 過去1時間分のデータと過去1日分のデータのどちらが長期予測精度に寄与しているか？
• RQ4 空間時間的マルチヘッドアテンション機構は、複数のセンサおよび時間ステップにおいて性能をどのように向上させるか？
• RQ5 アブレーションスタディによって示されるTrafFormerアーキテクチャのどのコンponentが性能に最も寄与しているか？

主な発見

• TrafFormerは、METR-LAおよびPEMS-Bayデータセットの両方において、ベースラインモデルと比較してRMSE、MAE、MAPEのすべての評価指標で最良の全体的性能を達成した。
• アブレーションスタディにより、時刻・曜日埋め込みが性能向上に顕著に寄与することが確認され、周期的特徴に置き換えた場合に性能が低下した。
• 過去1時間分のデータのみ（hour-only）を用いる場合、過去1日分のデータを用いる場合よりも性能が劣った。これは中時間的パターンの重要性を示している。
• day-only設定では、学習シーケンスの大きなギャップ（2時間）が学習とモデル安定性を妨げ、性能が著しく悪化した。
• 速度のみの入力では性能が著しく低かった。これは、正確な長期予測に時間的および空間的文脈が不可欠であることを確認した。
• 空間時間的マルチヘッドアテンション機構は、センサおよび時間ステップ間の複雑な依存関係を効果的にモデル化でき、優れた一般化性能に貢献している。

Figure 3: Roads covered by the two datasets.