[論文レビュー] Graph Attention Recurrent Neural Networks for Correlated Time Series Forecasting -- Full version

Razvan-Gabriel Cirstea, Chenjuan Guo+1 more|arXiv (Cornell University)|Mar 19, 2021

Time Series Analysis and Forecasting参考文献 36被引用数 4

ひとこと要約

本稿では、空間的近接性に基づくグラフ上で多頭注目を用いて動的で適応的な隣接行列を学習することで、相関する時系列予測を改善するためのグラフアテンション再帰ニューラルネットワーク（GA-RNN）を提案する。この手法は、時間変化する注目重みを再帰ニューラルネットワーク（RNN）に統合し、進化する空間時系列依存関係をモデル化する。実世界の交通速度データにおける短期予測において、最先端手法を顕著に上回る性能を発揮する。

ABSTRACT

We consider a setting where multiple entities inter-act with each other over time and the time-varying statuses of the entities are represented as multiple correlated time series. For example, speed sensors are deployed in different locations in a road network, where the speed of a specific location across time is captured by the corresponding sensor as a time series, resulting in multiple speed time series from different locations, which are often correlated. To enable accurate forecasting on correlated time series, we proposes graph attention recurrent neural networks.First, we build a graph among different entities by taking into account spatial proximity and employ a multi-head attention mechanism to derive adaptive weight matrices for the graph to capture the correlations among vertices (e.g., speeds at different locations) at different timestamps. Second, we employ recurrent neural networks to take into account temporal dependency while taking into account the adaptive weight matrices learned from the first step to consider the correlations among time series.Experiments on a large real-world speed time series data set suggest that the proposed method is effective and outperforms the state-of-the-art in most settings. This manuscript provides a full version of a workshop paper [1].

研究の動機と目的

• 相関時系列間の動的空間時系列相関をモデル化する際の静的グラフ構造の限界を解決すること。
• エンティティ間の進化する相互作用を捉えることで、インテリジェント交通システムを含む複雑なサイバーフィジカルシステムにおける予測精度を向上させること。
• 適応的注目に基づく隣接行列をグラフベースのRNNと統合する汎用フレームワークを構築すること。
• 固定された隣接行列の代わりに、注目によって導かれる時間変化するものに置き換えることで、より強固で正確な予測を可能にすること。

提案手法

• エンティティ（例：速度センサー）間の空間的近接性に基づいてグラフを構築し、頂点をエンティティ、近接するもの同士を辺で接続する。
• グラフ上で多頭自己注目を適用し、各タイムステップで隣接頂点への重要度を適応的に割り当てる注目行列を学習する。
• 学習された注目行列を、グラフベースのRNNにおける静的隣接行列に置き換え、時間変化する動的隣接行列を生成する。この隣接行列は進化する相関関係を反映する。
• 再帰ニューラルネットワーク（例：GRUまたはLSTM）を、グラフ畳み込みまたは拡散畳み込み演算を介してこれらの適応的隣接行列を統合できるように変更する。
• 履歴データをLタイムステップのウィンドウから取得し、Pステップの予測期間における将来の時系列値を予測するために、エンドツーエンドで学習する。
• 本手法は汎用的であり、GCNやDCNNなど、隣接行列に依存する任意のグラフ畳み込み手法と統合可能である。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、グラフ構造の設定下で、相関時系列間の動的で時間変化する関係を効果的に学習できるか？
• RQ2 静的隣接行列を注目によって導かれる適応的ものに置き換えることで、RNNベースのモデルにおける予測性能がどのように向上するか？
• RQ3 提案手法は、短期および長期の相関時系列予測において、最先端手法をどの程度上回るか？
• RQ4 注目メカニズムは、交通渋滞が道路間で拡散するような現実世界のダイナミクスを反映する意味のある文脈依存的相互作用を捉えることができるか？

主な発見

• 提案されたGA-RNNモデルは、大規模な実世界の交通速度データセットにおいて、特に短期予測タスクで最先端手法を上回る。
• グラフ注目とRNNの統合により、時系列間の動的で進化する相関関係を捉えることができ、より正確な予測が可能になる。
• 注目メカニズムは追加の計算コストをもたらし、推論に約401秒を要するが、ベースラインのGCRNNは350秒である。
• モデルは、実世界のシステムにおける複雑で非線形な空間時系列依存関係をモデル化する際、強靭性と一般化能力を示している。
• 固定された事前計算済みグラフを使用するモデルと比較して、適応的隣接行列の使用が性能を顕著に向上させることから、動的相互作用モデリングの重要性が浮き彫りになる。