[論文レビュー] Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

Zonghan Wu, Shirui Pan+4 more|arXiv (Cornell University)|May 24, 2020

Time Series Analysis and Forecasting参考文献 25被引用数 114

ひとこと要約

MTGNNは変数間の潜在的な有向関係を自動的に学習し、グラフ学習、グラフ畳込み、時間畳込みモジュールをエンドツーエンドで訓練して多変量時系列を予測します。

ABSTRACT

Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it is fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information.

研究の動機と目的

• 時間系列間の潜在的相互依存性を活用する必要性を動機付け／Addressする。
• 事前定義グラフの有無にかかわらず多変量時系列を扱える一般的なグラフニューラルネットワークのフレームワークを開発する。
• 予測モデルと共に疎で一方向のグラフ構造をエンドツーエンドで学習する。
• グラフ畳込みによる空間的依存性と時間畳込みによる時間的依存性を捉える。
• 標準的なベースラインに対してベンチマークデータセットで予測精度を向上させる。

提案手法

• 3つの中核コンポーネントを持つMTGNNを提案する：疎で一方向の隣接行列を適応的に学習するグラフ学習層；空間情報を融合するグラフ畳込みモジュール；長距離の時間的パターンを捉えるダイレイテッド・インセプション設計を持つ時間畳込みモジュール。
• ミックスホップ伝播層を用いて複数の近傍ホップから情報を集約し、ノードの元の状態の一部を保持して過度の滑らかさを抑制する。
• ダイレイテッド・インセプション層（カーネルサイズ1x2、1x3、1x6、1x7）に基づく時間畳込みモジュールを用いて、多周波的な時間パターンと長いシーケンスを捉える。
• グラフ畳込みと時間畳込みを交互に適用し、残差結合とスキップ結合を用いて訓練を安定化し、エンドツーエンド学習を可能にする。
• 大規模なグラフを扱いメモリ使用量を削減するためのカリキュラム学習戦略とサブグラフサンプリングスキームを導入する。）

実験結果

リサーチクエスチョン

• RQ1 多変量時系列に明示的なグラフ構造がなくても、学習可能な疎な一方向グラフ構造を発見できるか？
• RQ2 グラフ構造とMTGNNのエンドツーエンドの共同学習は、事前定義グラフまたはグラフなしの方法より予測精度を改善するか？
• RQ3 グラフ畳込みと時間畳込みモジュールは、空間-時間の依存性を捉える際に互いをどのように補完するか？
• RQ4 カリキュラム学習とサブグラフサンプリングは訓練を安定化させ、より大規模なグラフへのスケーリングを可能にするか？
• RQ5 MTGNNは標準的な多変量時系列データセット上で最先端のベースラインと比較してどのように性能を示すか？

主な発見

• MTGNNは単一ステップ予測の4つのベンチマークデータセットのうち3つで最先端のベースラインを上回る。
• MTGNNは追加の構造情報を提供する2つの交通データセットで他のGNNベースのアプローチと同等の性能を達成。
• 学習可能なグラフ学習層は、有向関係に適した非対称で疎な隣接行列を生成する。
• ミックスホップ伝播層とダイレイテッド・インセプション時間モジュールは、過度の滑らかさを抑制し長距離予測を可能にしつつ、空間および時間の依存性を効果的に捉える。