[论文解读] CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting

Gerald Woo, Chenghao Liu+3 more|arXiv (Cornell University)|Feb 3, 2022

Time Series Analysis and Forecasting被引用 86

一句话总结

CoST 通过时域和频域对比学习学习解耦的趋势与季节表示，然后使用一个简单的回归器，在多变量和单变量长序列基准测试中达到最先进的预测性能。

ABSTRACT

Deep learning has been actively studied for time series forecasting, and the mainstream paradigm is based on the end-to-end training of neural network architectures, ranging from classical LSTM/RNNs to more recent TCNs and Transformers. Motivated by the recent success of representation learning in computer vision and natural language processing, we argue that a more promising paradigm for time series forecasting, is to first learn disentangled feature representations, followed by a simple regression fine-tuning step -- we justify such a paradigm from a causal perspective. Following this principle, we propose a new time series representation learning framework for time series forecasting named CoST, which applies contrastive learning methods to learn disentangled seasonal-trend representations. CoST comprises both time domain and frequency domain contrastive losses to learn discriminative trend and seasonal representations, respectively. Extensive experiments on real-world datasets show that CoST consistently outperforms the state-of-the-art methods by a considerable margin, achieving a 21.3% improvement in MSE on multivariate benchmarks. It is also robust to various choices of backbone encoders, as well as downstream regressors. Code is available at https://github.com/salesforce/CoST.

研究动机与目标

• 为时间序列预测提出一种表示学习范例，该范式从观测数据中分离季节性与趋势成分。
• 提出 CoST，通过在时域和频域使用对比损失学习解耦的季节-趋势表示。
• 展示在真实世界的多变量和单变量数据集上的鲁棒性及卓越预测性能。

提出的方法

• 将时间序列表示为趋势、季节性和误差分量之和，以从因果角度证明解耦表示的合理性。
• 引入一个骨干编码器 f_b 将 X (h x m) 映射到潜在表示 V (h x d)。
• 趋势特征解耦器 (TFD)：由自回归一维因果卷积（核大小为不同的 (2^i)）+ 平均池化的混合组成，用时域 MoCo 风格的对比损失 (L_time) 进行训练。
• 季节性特征解耦器 (SFD)：对 X 应用 FFT 以获得频域特征，通过一个可学习的逐频率复数线性层处理，然后执行逆 FFT 获得 V^(S)，使用频域对比损失 (L_amp + L_phase) 进行训练。
• 总体目标：L = L_time + (alpha/2) (L_amp + L_phase)。
• 通过广泛的消融实验展示对骨干网络和下游回归器的鲁棒性。

实验结果

研究问题

• RQ1 与端到端方法相比，解耦的季节-趋势表示是否能改善长序列时间序列预测？
• RQ2 时域和频域对比损失在误差分量分布发生变化时，是否能产生对趋势和季节性表示具有鲁棒性的表示？
• RQ3 架构选择（TFD/SFD）和可学习的傅里叶层如何影响预测准确性和泛化？

主要发现

• CoST 实现了最先进的预测性能，在多变量基准上相对于有竞争力的表示学习基线有显著提升（例如 MSE 降幅 21.3%）。
• CoST 对不同的骨干编码器（TCN、LSTM、Transformer）和下游回归器（脊回归 ridge、线性、核岭回归）具有鲁棒性。
• 消融研究表明趋势和季节性分量对提升均有贡献，二者结合可获得最佳结果。
• 频域对比损失使得在不需要显式季节周期信息的情况下也能有效学习具有区分性的季节性表示。
• 实证分析和案例研究显示学习得到的季节性与趋势表示具有清晰的可分离性和聚类性。