[論文レビュー] Multivariate Time Series Forecasting with Latent Graph Inference

Victor García Satorras, Syama Sundar Rangapuram+1 more|arXiv (Cornell University)|Mar 7, 2022

Time Series Analysis and Forecasting被引用数 11

ひとこと要約

本稿では、多次元時系列予測のためのモジュラーなグラフニューラルネットワークフレームワークを提案する。このフレームワークは、時系列間の潜在的依存関係を動的に推論する。補助ノードを導入して二部グラフを構築することで、計算複雑性をO(N²)からO(NK)に低減し、精度の損失は最小限に抑えられる。多様なデータセットにおいて、最先端の手法と同等またはそれ以上の精度と効率性を達成している。

ABSTRACT

This paper introduces a new approach for Multivariate Time Series forecasting that jointly infers and leverages relations among time series. Its modularity allows it to be integrated with current univariate methods. Our approach allows to trade-off accuracy and computational efficiency gradually via offering on one extreme inference of a potentially fully-connected graph or on another extreme a bipartite graph. In the potentially fully-connected case we consider all pair-wise interactions among time-series which yields the best forecasting accuracy. Conversely, the bipartite case leverages the dependency structure by inter-communicating the N time series through a small set of K auxiliary nodes that we introduce. This reduces the time and memory complexity w.r.t. previous graph inference methods from O(N^2) to O(NK) with a small trade-off in accuracy. We demonstrate the effectiveness of our model in a variety of datasets where both of its variants perform better or very competitively to previous graph inference methods in terms of forecasting accuracy and time efficiency.

研究の動機と目的

• 事前に定義されたグラフに依存せずに、多次元時系列間の複雑で非線形的な依存関係をモデル化する課題に対処すること。
• 時系列数に比例して2乗的に増加する計算量を持つGNNの完全グラフ推論の計算負荷を軽減すること。
• モジュラーな設計により、既存の単変数予測モデルへのシームレスな統合を可能にすること。
• 完全接続型と二部グラフ構造の間で連続的なトレードオフを許容することで、予測精度と計算効率のバランスを取ること。
• 時間に応じて変化する系列間関係を捉えるために、動的で時間適応型のグラフ推論の有効性を示すこと。

提案手法

• 推論時に時系列埋め込み間の依存関係を学習する動的潜在グラフ推論機構を導入し、固定された隣接行列に依存しないこと。
• 2つのバリエーションを提案：最大の精度を求める完全接続型（FC-GNN）と、K個の補助ノードを用いて複雑性を低減する二部グラフ型（BP-GNN）。
• GNNにおけるメッセージパッシング機構を用いて時系列間で情報伝達を行い、アテンションまたは学習可能な重みによってエッジの重要性を決定すること。
• 入力タイムステップごとに潜在グラフを動的に構築することで、時間変動する依存関係の柔軟なモデル化を可能にすること。
• N個の元の時系列とK個の補助ノードに限定することで、計算複雑性をO(N²)からO(NK)に低減し、K ≪ Nとなるようにすること。
• 既存の単変数予測モデル（例：DeepAR）に統合可能なプラグインモジュールとしてグラフ部を設計し、性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された隣接行列を必要とせずに、動的潜在グラフ推論が多次元時系列予測の精度を向上させることができるか？
• RQ2 補助ノードを用いた二部グラフ構造が、計算効率と予測精度のトレードオフにどのように影響を与えるか？
• RQ3 周期的またはクラスタ型の依存構造を示す多様なデータセットにおいて、モデルの一般化能力はどの程度高いか？
• RQ4 補助ノード数（K）がモデルの性能とスケーラビリティにどのように影響を与えるか？
• RQ5 実世界および合成データにおいて、時間的に変化する系列間関係を効果的に推論・適応できるか？

主な発見

• 完全接続型GNNバリエーション（FC-GNN）は、合成データセットで最小のMAEを達成し、サイクル型および相関のある正弦波グラフにおいて、真の隣接行列を完璧に回復した。
• K=4の補助ノードを有する二部グラフGNNバリエーション（BP-GNN）は、密なグラフにおいてFC-GNNと同等の予測精度を達成し、学習不可のグラフベースライン（NE-GNN）を著しく上回った。
• METR-LA交通予測データセットにおいて、BP-GNNはFC-GNNと同等の精度を維持しながら、前方伝搬時間とエッジ数を削減した。特にNが増加する際の恩恵が顕著であった。
• Kの増加はスパースなグラフ（例：サイクルグラフ）における性能向上に寄与したが、小さなK値を超えると利得が減少し、低Kでの良好なトレードオフが得られることを示した。
• モデルは動的グラフ推論動作を示し、学習された隣接行列が時間とともに変化することを確認し、変化する依存関係への適応性を裏付けた。
• スケーラビリティ分析により、BP-GNNがエッジ数をO(N²)からO(NK)に低減し、前方伝搬時間はNに線形に増加する一方で、FC-GNNはNの2乗に比例して増加することを確認した。