[論文レビュー] Multi-Scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting

Ling Chen, Donghui Chen+5 more|arXiv (Cornell University)|Jan 13, 2022

Time Series Analysis and Forecasting被引用数 9

ひとこと要約

本稿では、マルチスケールの時間的パターンとスケール固有の変数間依存関係を、アダプティブグラフ学習モジュールとスケール別統合メカニズムを用いて同時にモデル化する、多変量時系列予測のための新規フレームワークであるMulti-Scale Adaptive Graph Neural Network (MAGNN) を提案する。MAGNNは6つの実世界データセットにおいて最先端手法を上回り、優れた予測精度を達成するとともに、計算効率も維持している。

ABSTRACT

Multivariate time series (MTS) forecasting plays an important role in the automation and optimization of intelligent applications. It is a challenging task, as we need to consider both complex intra-variable dependencies and inter-variable dependencies. Existing works only learn temporal patterns with the help of single inter-variable dependencies. However, there are multi-scale temporal patterns in many real-world MTS. Single inter-variable dependencies make the model prefer to learn one type of prominent and shared temporal patterns. In this paper, we propose a multi-scale adaptive graph neural network (MAGNN) to address the above issue. MAGNN exploits a multi-scale pyramid network to preserve the underlying temporal dependencies at different time scales. Since the inter-variable dependencies may be different under distinct time scales, an adaptive graph learning module is designed to infer the scale-specific inter-variable dependencies without pre-defined priors. Given the multi-scale feature representations and scale-specific inter-variable dependencies, a multi-scale temporal graph neural network is introduced to jointly model intra-variable dependencies and inter-variable dependencies. After that, we develop a scale-wise fusion module to effectively promote the collaboration across different time scales, and automatically capture the importance of contributed temporal patterns. Experiments on four real-world datasets demonstrate that MAGNN outperforms the state-of-the-art methods across various settings.

研究の動機と目的

• 多変量時系列予測において、単一スケールの時間的パターンと共有された変数間依存関係に焦点を当てた従来のモデルの限界を解決すること。
• 現実世界の時系列データに内在する複雑なマルチスケール時間的ダイナミクス（例：日単位、週単位）を捉えること。
• 事前定義された事前知識に依存せずに、スケール固有の変数間依存関係を学習することで、異なる時間スケールにおける変数間相互作用のより正確なモデル化を可能にすること。
• マルチスケールグラフニューラルネットワークを用いて、複数の時間スケールにわたる変数内時間的依存関係と変数間依存関係を同時にモデル化すること。
• 異なる時間的パターンの重要度を自動的に捉え、スケール間連携を促進するスケール別統合メカニズムの開発

提案手法

• 異なる時間スケールでの階層的時間的表現を抽出するためにマルチスケールピラミッドネットワークが用いられ、多様な時間的パターンが保持される。
• 事前定義されたグラフを必要とせず、時間スケールごとに変化する変数間依存関係をモデル化するため、スケール固有の隣接行列を推定するアダプティブグラフ学習モジュールが導入される。
• マルチスケール時間的グラフニューラルネットワークは、複数スケールにわたる特徴を処理することで、変数内および変数間依存関係を統合的に統合する。
• スケール別統合モジュールは、学習可能な重みを用いて異なる時間スケールからの表現を集約し、各スケールへの動的な重要度割り当てを可能にする。
• 予測精度を最適化するために、再構成と予測の目的を組み合わせたマルチタスク損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、多変量時系列において、日単位や週単位などのマルチスケール時間的パターン（例：日単位、週単位）を効果的に捉えることができるか？
• RQ2 異なる時間スケールにわたり、変数間依存関係を動的に適応させることで、予測性能を向上させることができるか？
• RQ3 複数の時間スケールにわたる変数内依存関係と変数間依存関係を、どのように同時にモデル化できるか？
• RQ4 マルチスケール表現を統合する最適な方法は何か？ 予測精度の向上に寄与する。
• RQ5 実世界の予測タスクにおいて、固定または共有された隣接行列と比較して、提案されたアダプティブグラフ学習機構はどのように優れているか？

主な発見

• MAGNNは6つの実世界データセットにおいて最高の性能を達成し、平均RSEが0.4097、平均CORRが0.8992に達し、LSTNet、TPA-LSTM、MTGNNを含む最先端手法を上回った。
• アダプティブグラフ学習モジュールを備えたモデル（MAGNN-att）は、ベースラインのMAGNN-poolingバージョンと比較して、CORRで2.5%向上、RSEで1.5%低減した。
• アブレーションスタディの結果、マルチスケールピラミッドとスケール別統合モジュールが極めて重要であり、32の畳み込みチャネルサイズと40の近隣ノード数で最高の性能が得られた。
• TPA-LSTM や MTGNN よりも計算コストが低く、Trafficデータセットにおける総訓練時間は1.55時間であり、それぞれ8.71時間および4.86時間と比較して顕著に短い。
• 交通、エネルギー、電力消費など多様なデータタイプにわたり、強力な汎化能力を示すという、ロバストな性能を発揮した。
• ハイパーパramータ分析の結果、チャネルサイズと近隣ノード数の両方が性能に顕著な影響を及ぼし、それぞれ32と40が最適値であることが判明した。