[論文レビュー] MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting

Wanlin Cai, Yuxuan Liang+3 more|arXiv (Cornell University)|Dec 31, 2023

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

MSGNetは、周波数ドメイン分解と自己適応グラフ畳み込みを用いて、多変量時系列予測のための新しい深層学習モデルであり、複数スケールの系列間相関を捉える。高速フーリエ変換（FFT）を活用して異なる時間スケールを分離し、学習可能な隣接行列を用いたスケール固有のグラフ畳み込みを適用することで、実世界のデータセットにおいて優れた予測精度と頑健性を達成し、分布内および分布外の設定において最先端のモデルを上回る性能を発揮する。

ABSTRACT

Multivariate time series forecasting poses an ongoing challenge across various disciplines. Time series data often exhibit diverse intra-series and inter-series correlations, contributing to intricate and interwoven dependencies that have been the focus of numerous studies. Nevertheless, a significant research gap remains in comprehending the varying inter-series correlations across different time scales among multiple time series, an area that has received limited attention in the literature. To bridge this gap, this paper introduces MSGNet, an advanced deep learning model designed to capture the varying inter-series correlations across multiple time scales using frequency domain analysis and adaptive graph convolution. By leveraging frequency domain analysis, MSGNet effectively extracts salient periodic patterns and decomposes the time series into distinct time scales. The model incorporates a self-attention mechanism to capture intra-series dependencies, while introducing an adaptive mixhop graph convolution layer to autonomously learn diverse inter-series correlations within each time scale. Extensive experiments are conducted on several real-world datasets to showcase the effectiveness of MSGNet. Furthermore, MSGNet possesses the ability to automatically learn explainable multi-scale inter-series correlations, exhibiting strong generalization capabilities even when applied to out-of-distribution samples.

研究の動機と目的

• 多変量時系列予測において、複数の時間スケールにわたる時間的に変化する系列間相関をモデル化するというギャップを埋める。
• 異なる時間スケールで変化する系列間依存関係を明示的に捉えることで、予測性能を向上させる。
• 分布外のサンプルにもうまく一般化できる、説明可能な多スケール相関を学習可能なモデルを開発する。
• 固定または単一スケールのグラフ構造に依存する、または全長のシーケンスをスケールに配慮せずに処理する既存のモデルの限界を克服する。

提案手法

• MSGNetは、入力時系列を異なる時間スケールに分解するためのスケール学習および変換レイヤーを採用し、高速フーリエ変換（FFT）を用いて主要な周期的パターンを分離する。
• 特定の時間スケールごとに、学習可能な隣接行列を備えた複数の自己適応グラフ畳み込みモジュールを用いて、そのスケールに特化した系列間相関を動的にモデル化する。
• 各スケール内で系列内時間的依存関係を捉えるために、時系列マルチヘッド自己注意機構を統合し、局所的パターンのモデル化を強化する。
• 各時間スケールを独立して処理することで、シーケンス長を短縮し、標準的なTransformerの長文脈制限を緩和する。
• 最終的な予測は、すべてのスケールの出力を統合することで生成され、多スケール相関の学習と一般化性能の向上が可能になる。
• モデルは、平均二乗誤差（MSE）を損失関数として用い、スケール数とグラフ構造のハイパーパrameterを最適化してエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 多変量時系列予測モデルは、異なる時間スケールで変化する系列間相関をどのように効果的に捉えることができるか？
• RQ2 周波数ドメイン分解は、多変量時系列における多スケール時間的依存関係のモデル化をどのように改善するか？
• RQ3 スケール固有のグラフ構造を学習することで、固定またはグローバルなグラフ構造よりも優れた予測性能と一般化性能が得られるか？
• RQ4 スケールに配慮したグラフ畳み込みと自己注意機構の統合は、標準的なTransformerと比較して長文脈予測をどのように向上させるか？
• RQ5 MSGNetは、特に時間スケールにわたる相関パターンの変化が見られる場合に、分布外のサンプルへどの程度一般化できるか？

主な発見

• MSGNetは、ETTおよびFlightを含む複数のベンチマークデータセットで最先端の性能を達成し、さまざまな入力長および出力長の設定においてMSEが一貫して向上している。
• ETTデータセットでは、レビュー窓が長くなるほど顕著な性能向上を示しており、長期依存関係を捉える能力の高さとスケーラビリティの優秀さが裏付けられている。
• 分布シフトに対して頑健であることが確認され、説明可能なスケール固有の相関を学習できるため、分布外のサンプルでも高い予測精度を維持している。
• 計算効率面では、特に長い入力シーケンスにおいて、MSGNetはTimesNetを上回るトレーニング速度とGPUメモリ使用量を達成しており、全シーケンス注意を避けるスケール別処理のおかげである。
• 長予測ホライズンにおける誤差のフラクチュエーションやリバウンド効果が低減され、特にFlightデータセットでは入力長が延長するにつれて誤差の傾向が安定的かつ減少する傾向を示している。
• 図11および図12の可視化比較により、DLinear、Autoformer、TimesNetといった競合モデルと比較して、MSGNetが複雑なトレンドや周期的パターンをよりよく適合していることが確認された。