[論文レビュー] Interpretable Crowd Flow Prediction with Spatial-Temporal Self-Attention

Haoxing Lin, Weijia Jia+2 more|arXiv (Cornell University)|Feb 22, 2020

Traffic Prediction and Management Techniques参考文献 24被引用数 6

ひとこと要約

本稿では、空間的・時間的依存関係を包括的にモデル化するための空間的・時間的自己注意ネットワークSTSANを提案する。STエンコーディングゲートとマルチアスペクト注意機構を用い、Taxi-NYCデータセットにおいて、SOTAベースライン比で流入予測で16%、流出予測で8%低いRMSEを達成した。明示的な注意重みにより、モデルの解釈性が向上した。

ABSTRACT

Crowd flow prediction has been increasingly investigated in intelligent urban computing field as a fundamental component of urban management system. The most challenging part of predicting crowd flow is to measure the complicated spatial-temporal dependencies. A prevalent solution employed in current methods is to divide and conquer the spatial and temporal information by various architectures (e.g., CNN/GCN, LSTM). However, this strategy has two disadvantages: (1) the sophisticated dependencies are also divided and therefore partially isolated; (2) the spatial-temporal features are transformed into latent representations when passing through different architectures, making it hard to interpret the predicted crowd flow. To address these issues, we propose a Spatial-Temporal Self-Attention Network (STSAN) with an ST encoding gate that calculates the entire spatial-temporal representation with positional and time encodings and therefore avoids dividing the dependencies. Furthermore, we develop a Multi-aspect attention mechanism that applies scaled dot-product attention over spatial-temporal information and measures the attention weights that explicitly indicate the dependencies. Experimental results on traffic and mobile data demonstrate that the proposed method reduces inflow and outflow RMSE by 16% and 8% on the Taxi-NYC dataset compared to the SOTA baselines.

研究の動機と目的

• 集団流れ予測における分割統治型ディープラーニング手法の限界、すなわち空間的・時間的依存関係の断片化と解釈性の低下を是正すること。
• 位置符号化と時間符号化を用いて、空間的・時間的入力を統一された特徴空間に表現することで、複雑な空間的・時間的依存関係を保持すること。
• 予測に最も影響を与える歴史的空間的・時間的位置を示す明示的な注意重みを抽出することで、モデルの解釈性を可能にすること。
• 空間的・時間的処理を分離しない、空間的・時間的表現全体にスケーリングドット積注意を適用することで、予測精度と効率性を向上させること。

提案手法

• 空間的および時間的位置符号化と時間符号化を統合するSTエンコーディングゲートを導入し、空間的・時間的入力を1つの統一された特徴空間に表現する。
• 空間的・時間的次元を同時にカバーするスケーリングドット積注意を適用するマルチアスペクト注意機構を提案し、各空間的位置に対して専用の注意ヘッドを設ける。
• デュアルストリームアーキテクチャを採用：Stream-Tはマルチヘッド自己注意により時間的依存関係を処理し、Stream-Fは遷移行列を用いて空間的遷移を学習する。
• 周期的シフトを用いて、過去7日間の同じ時刻からの履歴観測を選択することで、文脈に適した入力選択による時間的モデリングの強化を実現する。
• ターゲット領域の周囲のB×Bブロックに空間領域を制限することで、局所的入力ターニングを実施し、ノイズを低減し、効率性を向上させる。
• 学習率のウォームアップを伴うAdam最適化手法を用い、ドロップアウト（率0.1）を正則化に適用し、8つのGPUを用いてバッチサイズ1024で学習する。

実験結果

リサーチクエスチョン

• RQ1 空間的および時間的処理を分離せずに、空間的・時間的依存関係を包括的にモデル化する統一された注意機構は、集団流れ予測において有効に機能するか？
• RQ2 統一された表現に位置符号化と時間符号化を組み込むことで、分離された空間的・時間的モデリングと比較して、予測精度がどの程度向上するか？
• RQ3 提案されたメカニズムから得られる注意重みは、集団流れ予測の解釈や、重要な歴史的要因の特定にどの程度活用できるか？
• RQ4 提案されたSTSANモデルは、実世界の集団流れデータセットにおいて、精度と解釈性の両面で既存のSOTA手法を上回るか？

主な発見

• STSANは、Taxi-NYCデータセットにおいて、最良のSOTAベースラインと比較して、流入予測で16%、流出予測で8%低いRMSEを達成した。
• STエンコーディングゲートを備えたバージョンは、その欠如するアブレーションバージョンと比較して顕著に性能向上を示し、統一された空間的・時間的表現の重要性を裏付けた。
• マルチアスペクト注意機構により、明示的な注意重みの抽出が可能となり、関連する歴史的時刻と空間領域が視覚的に強調された。
• 注意重みの結果から、モデルが正しく最も関連性の高い歴史的瞬間（特に前日同じ時刻）を特定していることが示され、時間的整合性が裏付けられた。
• モデルの解釈可能性により、都市管理者が予測の出典を追跡でき、信頼性と実用的導入可能性が向上した。
• 局所的入力ターニングにより、グローバルな入力入力と比較して性能が向上し、遠く離れた領域からのノイズが低減され、効率性が向上した。