[論文レビュー] Learning dynamic and hierarchical traffic spatiotemporal features with Transformer

Haoyang Yan, Xiaolei Ma|arXiv (Cornell University)|Apr 12, 2021

Traffic Prediction and Management Techniques被引用数 24

ひとこと要約

本論文は Traffic Transformer を導入し、長期予測のための動的・階層的な時空交通特徴を多頭注意機構とマスク付き注意を用いてモデル化し、最先端手法を上回る。

ABSTRACT

Traffic forecasting is an indispensable part of Intelligent transportation systems (ITS), and long-term network-wide accurate traffic speed forecasting is one of the most challenging tasks. Recently, deep learning methods have become popular in this domain. As traffic data are physically associated with road networks, most proposed models treat it as a spatiotemporal graph modeling problem and use Graph Convolution Network (GCN) based methods. These GCN-based models highly depend on a predefined and fixed adjacent matrix to reflect the spatial dependency. However, the predefined fixed adjacent matrix is limited in reflecting the actual dependence of traffic flow. This paper proposes a novel model, Traffic Transformer, for spatial-temporal graph modeling and long-term traffic forecasting to overcome these limitations. Transformer is the most popular framework in Natural Language Processing (NLP). And by adapting it to the spatiotemporal problem, Traffic Transformer hierarchically extracts spatiotemporal features through data dynamically by multi-head attention and masked multi-head attention mechanism, and fuse these features for traffic forecasting. Furthermore, analyzing the attention weight matrixes can find the influential part of road networks, allowing us to learn the traffic networks better. Experimental results on the public traffic network datasets and real-world traffic network datasets generated by ourselves demonstrate our proposed model achieves better performance than the state-of-the-art ones.

研究の動機と目的

• GCNベースの交通予測における固定隣接行列を超える必要性を動機づける。
• 交通ネットワークにおける動的な時空依存性を捉えるための Transformer ベースのフレームワークを提案する。
• データ駆動のアテンション機構を通じて階層的な時空特徴を抽出する。
• アテンション重みを分析してネットワークの影響を解釈できるようにする。

提案手法

• 交通データの時空グラフモデリングへ Transformer アーキテクチャを適応させる。
• 動的な時空依存性を学習するためにマルチヘッド注意を用い、時間予測にはマスク付きマルチヘッド注意を用いる。
• アテンション層から抽出した時空特徴を階層的に融合して最終予測を行う。
• アテンション重み行列を活用して影響力のある道路ネットワークの構成要素を特定する。
• 公開データセットと実世界データセットで予測性能の改善を実証する。

実験結果

リサーチクエスチョン

• RQ1 Traffic Transformer は交通ネットワークにおける動的かつ階層的な時空依存性をモデル化できるか？
• RQ2 アテンション重み行列は予測における道路ネットワークの影響力のある部分をどのように反映するか？
• RQ3 提案されたモデルは最先端手法と比較して長期交通予測を改善するか？

主な発見

• Traffic Transformer は公開交通データセットと実世界データセットで最先端手法より良い性能を達成する。
• アテンション機構は交通データから時空特徴の階層的抽出を可能にする。
• アテンション重みの分析は交通予測における影響力のある道路やネットワーク領域を特定するのに役立つ。