[論文レビュー] Spatial-Temporal Self-Attention Network for Flow Prediction

Haoxing Lin, Weijia Jia+2 more|arXiv (Cornell University)|Dec 13, 2019

Traffic Prediction and Management Techniques参考文献 19被引用数 11

ひとこと要約

本稿では、自己注意機構を用いて空間的および時間的依存関係を統合的にモデル化する空間時系列自己注意ネットワーク（ST-SAN）を提案する。これは、長期依存関係のモデル化に限界があることや、空間的・時間的要因を独立して扱う問題を克服するものである。ST-SANは、Taxi-NYCデータ上での流入予測でSOTA手法比9%、流出予測で4%のRMSE低減を達成した。

ABSTRACT

Flow prediction (e.g., crowd flow, traffic flow) with features of spatial-temporal is increasingly investigated in AI research field. It is very challenging due to the complicated spatial dependencies between different locations and dynamic temporal dependencies among different time intervals. Although measurements of both dependencies are employed, existing methods suffer from the following two problems. First, the temporal dependencies are measured either uniformly or bias against long-term dependencies, which overlooks the distinctive impacts of short-term and long-term temporal dependencies. Second, the existing methods capture spatial and temporal dependencies independently, which wrongly assumes that the correlations between these dependencies are weak and ignores the complicated mutual influences between them. To address these issues, we propose a Spatial-Temporal Self-Attention Network (ST-SAN). As the path-length of attending long-term dependency is shorter in the self-attention mechanism, the vanishing of long-term temporal dependencies is prevented. In addition, since our model relies solely on attention mechanisms, the spatial and temporal dependencies can be simultaneously measured. Experimental results on real-world data demonstrate that, in comparison with state-of-the-art methods, our model reduces the root mean square errors by 9% in inflow prediction and 4% in outflow prediction on Taxi-NYC data, which is very significant compared to the previous improvement.

研究の動機と目的

• 空間的および時間的依存関係を独立して扱い、長期的な時間的依存関係を十分にモデル化できない既存の流れ予測モデルの限界を解消すること。
• 再帰型ネットワークにおける消失勾配問題が、長期的な時間的依存関係の学習を効果的に行うのを妨げるという問題を克服すること。
• 再帰的構造や深層残差畳み込み構造に依存せず、計算効率の高い深層学習モデルを流れ予測のために開発すること。
• 統一された注意メカニズムを用いて、動的で文脈に適応した相互作用を可能にすることで、複雑な空間的および時間的相関を同時に捉えること。
• 実世界の大規模な流れ予測データセット上で、提案されたST-SANモデルの有効性を実証的に検証すること。

提案手法

• ST-SANモデルは、共有された注意空間を通じて、クエリが空間的位置と時間ステップの両方を同時に注目できる空間時系列自己注意メカニズムを採用している。
• 自己注意メカニズムにより、長期的依存関係への等長のパスが確保され、RNNでよく見られる長期的時間的信号の消失を防ぐ。
• 時間ストリーム（Stream-T）を独立して訓練する二重ストリームアーキテクチャ（ST-SAN-D）を採用し、曖昧性を低減し、ノード間の接続性モデリングを向上させる。
• 空間的および時間的特徴の埋め込みから得られるクエリ、キー、値を用いて、スケーリングドット積注意を用いて注意スコアを計算する：$\text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d}})V$。
• 再帰的および深層残差構造を避けており、効率性と空間的・時間的ダイナミクスのより良い統合を実現するため、注意機構に依存している。
• 時間ストリームを独立して事前学習する変種（ST-SAN-D IT）は、時間的接続性学習の目的を明確にすることで性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 消失勾配の問題が生じない自己注意機構は、長期的および短期的な時間的依存関係を効果的にモデル化できるか？
• RQ2 統一された注意メカニズムを用いて空間的および時間的依存関係を同時にモデル化することで、独立してモデル化する場合と比較して流れ予測の精度が向上するか？
• RQ3 再帰的または深層残差畳み込みネットワークを用いない流れ予測のための深層学習モデルは、高い性能を達成できるか？
• RQ4 時間ストリームにおける独立した事前学習は、ノード間接続性の学習能力と最終的な予測性能にどのように影響するか？
• RQ5 提案されたST-SANモデルは、実世界の流れ予測ベンチマークにおいてSOTA手法と比較して、定量的にどの程度の影響を及ぼすか？

主な発見

• ST-SANは、Taxi-NYCデータセット上での流入予測でSOTA手法比9%、流出予測で4%のRMSE低減を達成した。
• 時間ストリームを独立して事前学習する二重ストリーム訓練（ST-SAN-D）は、RMSEおよびMAEの両指標で他のすべての変種を上回る最高の性能を達成した。
• SANベースライン（空間時系列注意を用いないトランスフォーマー構造のみのもの）は、空間的依存関係を効果的にモデル化できないため、性能が著しく低かった。
• ST-SAN-S変種（空間時系列注意を適用するがノード間の遷移情報が欠落している）は、均一な影響測定と動的依存関係の欠落により、性能が劣った。
• モデルの性能向上は流入予測で最も顕著であり、流出予測は依然としてより困難なタスクであり、さらなる調査が求められることを示唆している。
• アブレーションスタディにより、時間ストリームにおける独立した学習（ST-SAN-D IT）が目的関数の曖昧性を低減し、より良い接続性モデリングを実現することで性能向上に寄与することが確認された。