[論文レビュー] CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting

Gerald Woo, Chenghao Liu+3 more|arXiv (Cornell University)|Feb 3, 2022

Time Series Analysis and Forecasting被引用数 86

ひとこと要約

CoSTは時間領域および周波数領域のコントラスト学習を通じて、分離されたトレンドと季節表現を学習し、次に単純な回帰器を用いて、多変量および単変量の長いシーケンスベンチマークにおいて最先端の予測性能を達成する。

ABSTRACT

Deep learning has been actively studied for time series forecasting, and the mainstream paradigm is based on the end-to-end training of neural network architectures, ranging from classical LSTM/RNNs to more recent TCNs and Transformers. Motivated by the recent success of representation learning in computer vision and natural language processing, we argue that a more promising paradigm for time series forecasting, is to first learn disentangled feature representations, followed by a simple regression fine-tuning step -- we justify such a paradigm from a causal perspective. Following this principle, we propose a new time series representation learning framework for time series forecasting named CoST, which applies contrastive learning methods to learn disentangled seasonal-trend representations. CoST comprises both time domain and frequency domain contrastive losses to learn discriminative trend and seasonal representations, respectively. Extensive experiments on real-world datasets show that CoST consistently outperforms the state-of-the-art methods by a considerable margin, achieving a 21.3% improvement in MSE on multivariate benchmarks. It is also robust to various choices of backbone encoders, as well as downstream regressors. Code is available at https://github.com/salesforce/CoST.

研究の動機と目的

• 観測データから季節成分とトレンド成分を分離する時系列予測の表現学習パラダイムを提案する。
• 時間領域と周波数領域のコントラスト損失を用いて、分離された季節-トレンド表現を学習するCoSTを提案する。
• 実世界の多変量および単変量データセット全体で、堅牢性と優れた予測性能を示す。

提案手法

• 時系列をトレンド、季節、誤差成分の和として表現し、因果的観点から分離表現を正当化する。
• X (h x m) を潜在表現 V (h x d) に写像するバックボーンエンコーダ f_b を導入する。
• Trend Feature Disentangler (TFD): 可変カーネルサイズ (2^i) の自己回帰型1D因果畳み込みと平均プーリングの混合からなるモジュールを、時域MoCo風のコントラスト損失 (L_time) で訓練する。
• Seasonal Feature Disentangler (SFD): 周波数領域の特徴を得るためにFFTを適用し、学習可能な周波数ごとの複素値線形層を通し、逆FFTで V^(S) を得て、周波数領域のコントラスト損失 (L_amp + L_phase) で訓練する。
• 全体目的関数: L = L_time + (alpha/2) (L_amp + L_phase)。
• 幅広いアブレーションを通じて、バックボーンエンコーダと下流回帰器への堅牢性を示す。

実験結果

リサーチクエスチョン

• RQ1 分離された季節-トレンド表現は、エンドツーエンド手法と比較して長いシーケンスの時系列予測を改善できるか？
• RQ2 時間領域と周波数領域のコントラスト損失は、誤差成分の分布シフト下で堅牢なトレンドおよび季節表現を生み出すか？
• RQ3 アーキテクチャの選択 (TFD/SFD) と学習可能なフーリエ層が予測精度と一般化にどのように影響するか？

主な発見

• CoSTは最先端の予測性能を達成し、競合する表現学習ベースラインに対して顕著な改善を示す（例：多変量ベンチマークでMSEを21.3%低減）。
• CoSTは異なるバックボーンエンコーダ（TCN、LSTM、Transformer）および下流回帰器（リッジ、線形、カーネルリッジ）に対して堅牢である。
• アブレーションにより、トレンドと季節成分の両方が向上に寄与し、それらを組み合わせると最良の結果が得られることが示される。
• 周波数領域のコントラスト損失は、季節周期の明示的な知識を必要とせずに、判別性の高い季節表現を効果的に学習可能にする。
• 経験的分析とケーススタディは、学習された季節表現とトレンド表現の明確な分離性とクラスター化可能性を示す。