[论文解读] Cross-LKTCN: Modern Convolution Utilizing Cross-Variable Dependency for Multivariate Time Series Forecasting Dependency for Multivariate Time Series Forecasting

Donghao Luo, Xue Wang|arXiv (Cornell University)|Jun 4, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

Cross-LKTCN 是一种现代的纯卷积架构，通过显式建模跨时间与跨变量依赖关系，提升了多变量时间序列预测性能。它采用深度可分离大感受野卷积进行长程时间建模，并通过连续的逐点分组卷积前馈网络捕捉复杂的变量间交互，实现了线性计算复杂度下的最先进性能。

ABSTRACT

The past few years have witnessed the rapid development in multivariate time series forecasting. The key to accurate forecasting results is capturing the long-term dependency between each time step (cross-time dependency) and modeling the complex dependency between each variable (cross-variable dependency) in multivariate time series. However, recent methods mainly focus on the cross-time dependency but seldom consider the cross-variable dependency. To fill this gap, we find that convolution, a traditional technique but recently losing steam in time series forecasting, meets the needs of respectively capturing the cross-time and cross-variable dependency. Based on this finding, we propose a modern pure convolution structure, namely Cross-LKTCN, to better utilize both cross-time and cross-variable dependency for time series forecasting. Specifically in each Cross-LKTCN block, a depth-wise large kernel convolution with large receptive field is proposed to capture cross-time dependency, and then two successive point-wise group convolution feed forward networks are proposed to capture cross-variable dependency. Experimental results on real-world benchmarks show that Cross-LKTCN achieves state-of-the-art forecasting performance and improves the forecasting accuracy significantly compared with existing convolutional-based models and cross-variable methods.

研究动机与目标

• 为解决多变量时间序列预测中，尤其是卷积模型中跨变量依赖关系研究不足的问题。
• 通过克服卷积模型感受野有限和长期依赖学习能力弱的缺陷，重新激活并增强卷积在时间序列预测中的作用。
• 设计一种高效架构，独立建模跨时间与跨变量依赖关系，且无需使用注意力机制。
• 在保持与基于注意力模型相当的线性计算复杂度的前提下，实现最先进性能。

提出的方法

• 引入一种补丁式嵌入策略，以增强局部性，并聚合相邻时间点的语义信息。
• 采用深度可分离大感受野卷积，利用大感受野有效捕捉长序列中的跨时间依赖关系。
• 使用两个连续的逐点分组卷积前馈网络，建模复杂的跨变量依赖关系，同时保留变量特有的特征。
• 利用分组卷积与深度可分离卷积的解耦特性，分别建模时间维度与变量维度的依赖关系。
• 基于实证证据，移除因果卷积以简化架构，因其在时间序列预测中并非必要。
• 应用结构重参数化技术，以稳定大感受野卷积的训练过程，提升模型性能与泛化能力。

实验结果

研究问题

• RQ1 大感受野的一维卷积能否有效捕捉多变量时间序列中的长期跨时间依赖？
• RQ2 在不使用注意力机制的前提下，逐点分组卷积前馈网络能否高效建模复杂的跨变量依赖？
• RQ3 一种具有显式跨变量建模能力的纯卷积架构，是否能在多变量预测中超越现有的卷积与注意力模型？
• RQ4 核大小与输入长度如何影响所提出架构的性能？
• RQ5 与当前最先进模型相比，该模型的计算效率如何？

主要发现

• 将核大小从 3 增大到 51 在所有数据集上均显著提升预测性能，其中在 ILI 和 Electricity 数据集上提升最为明显。
• 在 ETTh1 数据集上，当预测长度为 192 时，核大小为 51 的模型相比核大小为 3 的模型，MSE 降低 10.5%。
• 随着输入长度增加，性能持续提升，证实了 Cross-LKTCN 具备捕捉长期时间依赖的能力。
• Cross-LKTCN 在九个真实世界基准数据集上达到最先进性能，优于所有对比的卷积与注意力模型。
• 该模型在跨时间依赖建模中保持线性复杂度，而基于注意力的模型则随序列长度呈二次方增长。
• 复杂度分析表明，Cross-LKTCN 的跨变量组件随变量数 M 呈二次方增长，但由于未使用自注意力机制，其整体效率仍高于基于注意力的替代方案。