[論文レビュー] Self-Supervised Contrastive Learning for Long-term Forecasting

Junwoo Park, Daehoon Gwak+2 more|arXiv (Cornell University)|Feb 3, 2024

Forecasting Techniques and Applications被引用数 4

ひとこと要約

本論文は、従来のスライディングウィンドウの範囲を超えて長期的な時間的依存関係を明示的に捉えるための自己教師付き対照学習フレームワークを提案する。全系列のグローバル自己相関を用いて、遠く離れたウィンドウ間でポジティブおよびネガティブペアを形成し、再設計された分解アーキテクチャと統合することで、予測精度が著しく向上し、9つの長期予測ベンチマークで14のベースラインを上回る。特に、長予測ホライズンを要する状況で顕著な性能向上を示す。

ABSTRACT

Long-term forecasting presents unique challenges due to the time and memory complexity of handling long sequences. Existing methods, which rely on sliding windows to process long sequences, struggle to effectively capture long-term variations that are partially caught within the short window (i.e., outer-window variations). In this paper, we introduce a novel approach that overcomes this limitation by employing contrastive learning and enhanced decomposition architecture, specifically designed to focus on long-term variations. To this end, our contrastive loss incorporates global autocorrelation held in the whole time series, which facilitates the construction of positive and negative pairs in a self-supervised manner. When combined with our decomposition networks, our contrastive learning significantly improves long-term forecasting performance. Extensive experiments demonstrate that our approach outperforms 14 baseline models in multiple experiments over nine long-term benchmarks, especially in challenging scenarios that require a significantly long output for forecasting. Source code is available at https://github.com/junwoopark92/Self-Supervised-Contrastive-Forecsating.

研究の動機と目的

• 個々のウィンドウの範囲を超えて広がる長期的な時間的変動を捉えることができない、従来のスライディングウィンドウベースのモデルの限界を解消すること。
• 遠く離れてはいるが類似した時間ウィンドウ間で周期的または長距離相関を学習できない標準モデルの失敗を克服すること。
• 全系列の時間的自己相関を用いて、意味のあるポジティブおよびネガティブペアを形成する対照学習目的関数を設計すること。
• 提案された対照損失から十分に学習できるよう、分解ベースモデルの長期ブランチに十分な容量を付与すること。
• 正規化技術との互換性を維持しつつ、数値的に重要な長期トレンドを保持できるようにすること。

提案手法

• 全系列の時間的自己相関を用いて、時間的に離れてはいるが相関のあるウィンドウ同士からポジティブペアを構築する自己教師付き対照損失を導入する。
• 対照損失を、標準的な線形層よりも高い容量を持つように再設計された分解モデルの長期ブランチに特化して適用する。
• 二重ブランチアーキテクチャを採用：短期的パターンを処理する短期ブランチと、グローバルな周期的またはトレンド的成分を処理する長期ブランチ。
• 類似した長期的パターン（例：年間サイクル）の表現が、ウィンドウ間の距離に関係なく埋め込み空間で近くなるよう、対照学習目的関数を採用する。
• ウィンドウ単位の正規化を適用しつつ、重要な長期的値（例：最大値／最小値）が保持されるようにし、正確な予測を実現する。
• 異なる時間的位置からのウィンドウを含むミニバッチを用いて、対照損失をエンドツーエンドで訓練することで、長距離依存関係を学習可能にする。

Figure 1: Long-term variations span beyond the conventional window. There are non-zero correlations (Left Y axis) with longer lags, and Fourier components (Right Y axis) with longer periods than the window size.

実験結果

リサーチクエスチョン

• RQ1 グローバル自己相関を用いて、遠く離れたウィンドウ間でポジティブペアを形成することで、対照学習を長期時系列予測に効果的に適用できるか？
• RQ2 全系列を用いてポジティブペアを形成する対照損失は、ウィンドウ局所的な学習に比べて、長期予測性能を向上させるか？
• RQ3 再設計された長期ブランチは、対照信号から効果的に学習可能であり、長期トレンドを保持できるか？
• RQ4 特に予測長が長い設定下で、提案手法は最先端モデルと比較して優れた性能を示すか？
• RQ5 標準的な正規化技術を用いても、長期的予測信号を損なわず、性能を維持できるか？

主な発見

• 提案手法は9つの長期予測ベンチマークで最先端の性能を達成し、すべての設定で14のベースラインモデルを上回る。
• 2160ステップの予測ホライズンを持つECLデータセットでは、平均二乗誤差が0.261 ± 0.0078にまで低下し、PatchTST（0.332）やTimesNet（0.417）を著しく下回る。
• 可視化結果から、モデルは優れた表現学習を示しており、類似した時間的パターン（例：年間サイクル）同士が埋め込み空間で類似している一方、既存モデルはそれらを異なるものとして扱っている。
• 1440ステップの予測ホライズンを持つWeatherデータセットでは、MAEが0.867 ± 0.0272を達成し、PatchTST や TimesNet を含むすべてのベースラインを上回る。
• 電力、為替、ILIなど多様なデータセットにおいても、安定した性能向上を示し、長予測ホライズンにおける予測精度が一貫して向上する。
• 可視化結果から、モデルは長期的な周期的パターン（例：年間サイクル）を正しく学習している一方、ベースラインはそのような相関関係を表現から捉えていないことが確認された。

Figure 2: (Top) Electricity time series including a long-term variation beyond window size. (Bottom) Plotted representation similarities of four models between an anchor window $\mathcal{W}_{2}$ and all other windows including $\mathcal{W}_{1}$ and $\mathcal{W}_{3}$ . To clearly highlight long-term