[論文レビュー] TRAILER: Transformer-based Time-wise Long Term Relation Modeling for Citywide Traffic Flow Prediction.

Hao Xue, Flora D. Salim|arXiv (Cornell University)|Nov 11, 2020

Traffic Prediction and Management Techniques参考文献 12被引用数 2

ひとこと要約

TRAILERは、長期間の時間的関係を明示的に捉えるための専用の長期関係モジュールと、予測された関係と交通フローの整合性を保証する整合性モジュールおよび損失関数を用いて、都市全体の交通フロー予測における長期的時間的関係をTransformerベースのアーキテクチャでモデル化する。3つの実世界データセットにおいて最先端の性能を達成している。

ABSTRACT

Traffic flow prediction is a crucial task in enabling efficient intelligent transportation systems and smart cities. Although there has been rapid progress in this area in the last few years, given the major advances of deep learning techniques, it remains a challenging task because of the inherent periodic characteristics of traffic flow sequence. To incorporate the periodicity in the prediction process, existing methods have observed three components separately as the input of prediction models, i.e., the closeness, period, and trend components. The long term relation of these components has not been fully addressed. In this paper, we present a novel architecture, TRAILER (TRAnsformer-based tIme-wise Long tErm Relation modeling), to predict traffic flows more effectively. First, we explicitly design a Transformer based long term relation prediction module to model the long term relation and predict the periodic relation to be used for the downstream task. Second, we propose a consistency module at the target time interval, in order to model the consistency of the predicted periodic relation and the relation inferred from the predicted traffic flow tensor. Finally, based on the consistency module, we introduce a consistency loss to stabilize the training process and further improve the prediction performance. Through extensive experiments, we show the superiority of the proposed method on three real-world datasets and the effectiveness of each module in TRAILER.

研究の動機と目的

• 交通フロー時系列における長期的時間的依存関係、特にその周期的特性をモデル化する課題に対処すること。
• 交通データの近接性、周期性、トレンド成分における周期的関係を明示的に捉え、予測すること。
• 予測された周期的関係と実際の交通フロー予測との整合性を強制することで、学習安定性と予測精度を向上させること。
• 長期関係モデリングとエンドツーエンドの交通フロー予測を統合する包括的なフレームワークの構築すること。

提案手法

• 複数の時間スケールにわたる時間的依存関係をモデル化するためのTransformerベースの長期関係予測モジュールを導入する。
• 予測された周期的関係と、ターゲット時間間隔における予測された交通フローテンソルから導かれる関係を一致させる整合性モジュールを設計する。
• 予測された周期的関係と、予測されたフローから推定された関係の差異をペナルティ化する整合性損失を提案し、学習を安定化させる。
• 交通時系列を近接性、周期性、トレンド成分に分解し、それらをTRAILERアーキテクチャに供給する。
• Transformerにおける自己注意メカニズムを活用して、拡張された時間範囲にわたる長距離依存関係を捉える。
• 整合性損失を用いてエンドツーエンドの学習を実施し、関係モデリングと交通フロー予測を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 交通フロー時系列における長期的時間的関係を、予測精度を向上させるためにどのように効果的にモデル化できるか？
• RQ2 予測された周期的関係と、予測されたフローから導かれる関係との整合性を強制することで、モデルの安定性と性能がどの程度向上するか？
• RQ3 専用のTransformerベースのモジュールを用いた長期関係学習は、従来の手法に比べて交通データの周期的パターンをより効果的に捉えることができるか？
• RQ4 整合性損失は、交通フロー予測における学習収束と一般化性能にどのように寄与するか？

主な発見

• TRAILERは、3つの実世界の交通フロー予測データセットにおいて最先端の性能を達成し、既存手法に比べて優れた精度を示した。
• アブレーションスタディの結果、長期関係モジュールおよび整合性モジュールの両方が予測性能の向上に顕著に寄与することが確認された。
• 整合性損失は、より安定した学習ダイナミクスをもたらし、異なる時間間隔における予測分散を低減した。
• モデルは長期的な周期的パターンを効果的に捉えており、特に複雑で多様な時間スケールの依存関係を有する時系列において顕著である。
• 明示的な周期的関係モデリングの統合により、特に長時間予測のシナリオにおいて一般化性能が向上した。