[论文解读] MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting

Wanlin Cai, Yuxuan Liang+3 more|arXiv (Cornell University)|Dec 31, 2023

Time Series Analysis and Forecasting被引用 6

一句话总结

MSGNet 是一种用于多变量时间序列预测的新型深度学习模型，通过频域分解和自适应图卷积捕捉多尺度的序列间相关性。通过利用快速傅里叶变换（FFT）分离不同时间尺度，并应用具有可学习邻接矩阵的尺度特定图卷积，MSGNet 在真实世界数据集上实现了更高的预测精度和鲁棒性，在分布内和分布外设置下均优于当前最先进模型。

ABSTRACT

Multivariate time series forecasting poses an ongoing challenge across various disciplines. Time series data often exhibit diverse intra-series and inter-series correlations, contributing to intricate and interwoven dependencies that have been the focus of numerous studies. Nevertheless, a significant research gap remains in comprehending the varying inter-series correlations across different time scales among multiple time series, an area that has received limited attention in the literature. To bridge this gap, this paper introduces MSGNet, an advanced deep learning model designed to capture the varying inter-series correlations across multiple time scales using frequency domain analysis and adaptive graph convolution. By leveraging frequency domain analysis, MSGNet effectively extracts salient periodic patterns and decomposes the time series into distinct time scales. The model incorporates a self-attention mechanism to capture intra-series dependencies, while introducing an adaptive mixhop graph convolution layer to autonomously learn diverse inter-series correlations within each time scale. Extensive experiments are conducted on several real-world datasets to showcase the effectiveness of MSGNet. Furthermore, MSGNet possesses the ability to automatically learn explainable multi-scale inter-series correlations, exhibiting strong generalization capabilities even when applied to out-of-distribution samples.

研究动机与目标

• 解决在多变量时间序列预测中对跨多个时间尺度的时变序列间相关性建模的空白。
• 通过显式捕捉在不同时间尺度上变化的序列间依赖关系，提升预测性能。
• 开发一种能够学习可解释的、多尺度相关性并能良好泛化到分布外样本的模型。
• 克服现有模型依赖固定或单尺度图结构，或在未进行尺度感知分解的情况下处理完整序列的局限性。

提出的方法

• MSGNet 采用尺度学习与转换层，应用快速傅里叶变换（FFT）将输入时间序列分解为不同时间尺度，以分离出主导的周期性模式。
• 针对每个识别出的时间尺度，MSGNet 使用多分支可学习邻接矩阵的自适应图卷积模块，动态建模该尺度下的序列间相关性。
• 该模型集成时间多头自注意力机制，以捕捉每个尺度内的序列内时间依赖关系，增强局部模式建模能力。
• 该架构独立处理每个时间尺度，缩短序列长度，缓解标准 Transformer 模型在长上下文场景下的局限性。
• 最终预测通过聚合所有尺度的输出生成，实现多尺度相关性学习并提升泛化能力。
• 模型采用均方误差（MSE）作为损失函数，端到端进行训练，超参数通过输入尺度数量和图结构进行调优。

实验结果

研究问题

• RQ1 多变量时间序列预测模型如何有效捕捉在不同时间尺度上变化的序列间相关性？
• RQ2 频域分解能否提升多变量时间序列中多尺度时间依赖关系的建模能力？
• RQ3 学习特定于尺度的图结构是否能带来比固定或全局图结构更优的预测性能和泛化能力？
• RQ4 将尺度感知图卷积与自注意力机制结合，相比标准 Transformer，如何提升长序列预测性能？
• RQ5 MSGNet 在面对分布外样本时，尤其是时间序列在不同尺度上呈现相关性模式漂移的情况下，其泛化能力能达到何种程度？

主要发现

• MSGNet 在多个基准数据集（包括 ETT 和 Flight）上达到最先进性能，无论在何种输入和输出长度设置下，MSE 指标均保持一致提升。
• 在 ETT 数据集上，MSGNet 随着回顾窗口变长，性能显著提升，表明其在捕捉长期依赖关系方面具备强大的可扩展性和有效性。
• 该模型对分布偏移具有鲁棒性，由于能够学习可解释的、特定于尺度的相关性，因此在分布外样本上仍保持高预测精度。
• 在计算效率方面，MSGNet 在训练速度和 GPU 显存使用上优于 TimesNet，尤其在长输入序列场景下，得益于其分尺度处理机制，避免了全序列注意力计算。
• MSGNet 在长时序预测中显著降低误差波动和反弹效应，尤其在 Flight 数据集上表现稳定，误差趋势随输入长度增加而持续下降。
• 图 11 和图 12 的可视化对比结果表明，与 DLinear、Autoformer 和 TimesNet 等竞争模型相比，MSGNet 更好地拟合复杂趋势和周期性模式。