[論文レビュー] Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full Version

Razvan-Gabriel Cirstea, Bin Yang+3 more|arXiv (Cornell University)|Mar 29, 2022

Traffic Prediction and Management Techniques被引用数 4

ひとこと要約

本稿では、確率的潜在変数を用いて場所固有かつ時変化するアテンションパラメータを生成することで、交通時系列予測における空間時間的認識を向上させるモデルに依存しないフレームワークを提案する。これらのパラメータを自己アテンション機構に統合し、線形計算量のウィンドウアテンションを導入することで、4つの実世界データセットにおいて最先端の精度と効率性を達成し、既存の空間時間的無差別なモデルを上回る。

ABSTRACT

Traffic time series forecasting is challenging due to complex spatio-temporal dynamics time series from different locations often have distinct patterns; and for the same time series, patterns may vary across time, where, for example, there exist certain periods across a day showing stronger temporal correlations. Although recent forecasting models, in particular deep learning based models, show promising results, they suffer from being spatio-temporal agnostic. Such spatio-temporal agnostic models employ a shared parameter space irrespective of the time series locations and the time periods and they assume that the temporal patterns are similar across locations and do not evolve across time, which may not always hold, thus leading to sub-optimal results. In this work, we propose a framework that aims at turning spatio-temporal agnostic models to spatio-temporal aware models. To do so, we encode time series from different locations into stochastic variables, from which we generate location-specific and time-varying model parameters to better capture the spatio-temporal dynamics. We show how to integrate the framework with canonical attentions to enable spatio-temporal aware attentions. Next, to compensate for the additional overhead introduced by the spatio-temporal aware model parameter generation process, we propose a novel window attention scheme, which helps reduce the complexity from quadratic to linear, making spatio-temporal aware attentions also have competitive efficiency. We show strong empirical evidence on four traffic time series datasets, where the proposed spatio-temporal aware attentions outperform state-of-the-art methods in term of accuracy and efficiency. This is an extended version of "Towards Spatio-Temporal Aware Traffic Time Series Forecasting", to appear in ICDE 2022 [1], including additional experimental results.

研究の動機と目的

• 交通予測における空間時間的無差別なディープラーニングモデルの限界、すなわち場所や時間帯にわたる均一なパラメータを仮定する点を是正すること。
• 空間的位置や時間窓ごとに変化する交通パターンを動的に、場所固有にモデリングできること。
• 高い性能を維持しながら計算複雑性を低減する効率的なアテンションメカニズムを開発すること。
• 実世界の交通データセットにおいて、最先端の手法と比較して精度と効率性の優位性を実証的に検証すること。
• 学習された確率的変数が交通時系列の特徴的な空間的・時間的ダイナミクスを効果的に捉えられることを示すこと。

提案手法

• フレームワークは、場所固有かつ時変化するアテンションパラメータを生成するために確率的潜在変数を用い、空間時間的パターンに動的に適応可能である。
• これらの学習済みパラメータを標準的なマルチヘッド自己アテンション機構に統合し、空間時間的認識アテンション層を構築する。
• 局所的なトークンウィンドウの集約により、アテンションの複雑性を二次関数的から線形に削減する、新規のウィンドウアテンションメカニズムを提案する。
• 代理表現を組み合わせるための学習可能なアテンションベースの集約関数を用い、単純な平均集約を上回る性能を達成する。
• 履歴交通時系列に対する再構成損失を用いて、確率的パラメータ生成により時空間にわたってパラメータを共有しながら、エンドツーエンドでモデルを訓練する。
• t-SNE可視化を用いて学習済みの確率的変数を解釈し、それらが空間的・時間的パターンを的確に捉えられることを確認する。

実験結果

リサーチクエスチョン

• RQ1 モデルに依存しないフレームワークは、動的で場所固有のアテンションパラメータを生成することで、交通予測における空間時間的認識を効果的に向上させることができるか？
• RQ2 提案されたウィンドウアテンションメカニズムは、標準的な自己アテンションと比較して、計算複雑性を低減しながらも性能を維持できるか？
• RQ3 学習された確率的変数は、実際の交通データにおける空間的・時間的パターンをどの程度正確に反映しているか？
• RQ4 空間時間的認識アテンションの統合により、多様な交通データセットにおいて予測精度に顕著な向上が見られるか？
• RQ5 集約関数の選択が、モデルの性能と頑健性にどのように影響するか？

主な発見

• 提案された空間時間的認識アテンションメカニズムは、4つの実世界交通予測データセットで最先端の性能を達成し、PEMS04ではMAEが23.54、MAPEが16.52、RMSEが36.87を記録した。
• ウィンドウアテンションメカニズムにより、計算複雑性が二次関数的から線形に低下し、長期間の履歴シーケンスの効率的処理が可能になった。H=120でも安定したトレーニング実行時間が確認された。
• STFGNN、AGCRN、EnhanceNetといった強力なベースラインと比較して、精度とトレーニング効率の両面で優れた性能を示し、特に長期間予測タスクにおいて顕著な優位性を示した。
• t-SNE可視化により、学習済みの確率的変数が明確に分離した時間的ダイナミクスを捉えていることが確認され、異なるクラスタが時系列の上行・下行トレンドに対応していた。
• 提案された学習可能な集約関数の代わりに単純な平均集約を使用した場合、モデルの性能が顕著に低下した。これは設計選択の妥当性を裏付けた。
• 同じ道路に沿ったセンサーは潜在空間で空間的に一貫したクラスタを形成するが、同じ道路の反対方向にあるセンサー同士は分離されており、効果的な空間パターンの捉え方であることが示された。