[論文レビュー] Forecaster: A Graph Transformer for Forecasting Spatial and Time-Dependent Data

Yang Li, José M. F. Moura|arXiv (Cornell University)|Sep 9, 2019

Traffic Prediction and Management Techniques参考文献 26被引用数 24

ひとこと要約

予測モデルは、ガウスマルコフ確率場を用いてデータから空間的依存関係を学習し、推定された関係に基づいて注意メカニズムをスパarsifyするグラフ構造のトランスフォーマーモデルを提案する。実世界のNYCデータを用いたタクシー配車需要予測において、DCRNNなどの最先端モデルを上回り、RMSEとMAPEが低くなる。

ABSTRACT

Spatial and time-dependent data is of interest in many applications. This task is difficult due to its complex spatial dependency, long-range temporal dependency, data non-stationarity, and data heterogeneity. To address these challenges, we propose Forecaster, a graph Transformer architecture. Specifically, we start by learning the structure of the graph that parsimoniously represents the spatial dependency between the data at different locations. Based on the topology of the graph, we sparsify the Transformer to account for the strength of spatial dependency, long-range temporal dependency, data non-stationarity, and data heterogeneity. We evaluate Forecaster in the problem of forecasting taxi ride-hailing demand and show that our proposed architecture significantly outperforms the state-of-the-art baselines.

研究の動機と目的

• 複雑な空間的依存関係、長距離時系列依存関係、データの非定常性、空間的非一様性といった、空間時系列予測の課題に取り組む。
• 物理的距離などの事前知識や前提条件に依存せず、データから真の空間的依存関係構造を学ぶ。
• データ駆動型の依存関係グラフをトランスフォーマー構造に統合し、空間時系列ダイナミクスのモデリングを向上させる。
• 都市移動データのような非一様な空間グリッドにおいて、高精度な多段階予測を可能にする。
• 実世界の予測ベンチマークにおいて、DCRNN や標準トランスフォーマーなどの既存モデルを上回ることを目的とする。

提案手法

• 空間時系列データを多次元正規分布としてモデル化し、精度行列を推定することで依存関係グラフを推定する。
• グラフィカルラassoを用いて逆共分散行列（精度行列）を推定し、場所間の条件付き独立性を符号化する。
• 学習された依存関係グラフに接続されていない場所間の注意接続を削除することで、トランスフォーマーの自己注意メカニズムをスパース化する。
• 各トランスフォーマーニューロンを空間的位置に関連付け、メッセージ伝達を依存関係を持つ隣接ノードに制限することで、空間的構造を保持する。
• 天気、時間帯、休日などの異種の補助特徴を入力表現に統合し、予測精度を向上させる。
• 将来の需要を複数の場所で予測するために、標準の回帰損失関数を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック的または事前定義された隣接行列に依存するのではなく、データ駆動型のアプローチで空間的依存関係構造を学習することで、予測性能が向上するか？
• RQ2 スパース化されたトランスフォーマー構造は、非定常的かつ異種の空間時系列データにおいて、長距離時系列依存関係をどの程度効果的に捉えることができるか？
• RQ3 天気、時間特徴など、補助情報（例：天候、曜日）を統合することで、実世界の移動データにおける予測精度はどの程度向上するか？
• RQ4 グラフ構造のトランスフォーマーは、標準トランスフォーマーやDCRNNのようなRNNベースのモデルを上回る性能を示せるか？
• RQ5 ガウスマルコフ確率場を用いた依存関係グラフ学習は、異なる都市環境においてもより頑健で汎用性の高いモデルをもたらすか？

主な発見

• Forecasterは、NYCのタクシー配車需要予測において、DCRNN や標準トランスフォーマーなどの最先端ベースラインを上回り、RMSEとMAPEが顕著に低減された。
• 多段階予測において優れた性能を発揮し、多様な空間的位置と時間スパンにわたる一般化能力が確認された。
• データから学習した依存関係グラフを用いることで、距離ベースや隣接行列ベースの方法よりも正確な空間的表現が得られた。
• 学習されたグラフに基づいてトランスフォーマーをスパース化することで、不要な注意パスを排除し、学習の安定性が向上し、過学習が抑制された。
• 天気、曜日、休日などの異種の補助特徴を統合することで、さらに予測精度が向上した。
• 自己注意メカニズムのおかげで長距離時系列依存関係を効果的に捉えることができ、同時に空間的スパarsityにより計算効率と解釈可能性が確保された。