[论文解读] MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing

Zhe Li, Zhongwen Rao+2 more|arXiv (Cornell University)|Feb 9, 2023

Time Series Analysis and Forecasting被引用 38

一句话总结

MTS-Mixers 提出一个因子分解框架，分别建模多变量时间序列预测中的时序依赖和通道依赖，利用低秩的时序和通道混合来超越 Transformer 基于模型并具有更高的效率。

ABSTRACT

Multivariate time series forecasting has been widely used in various practical scenarios. Recently, Transformer-based models have shown significant potential in forecasting tasks due to the capture of long-range dependencies. However, recent studies in the vision and NLP fields show that the role of attention modules is not clear, which can be replaced by other token aggregation operations. This paper investigates the contributions and deficiencies of attention mechanisms on the performance of time series forecasting. Specifically, we find that (1) attention is not necessary for capturing temporal dependencies, (2) the entanglement and redundancy in the capture of temporal and channel interaction affect the forecasting performance, and (3) it is important to model the mapping between the input and the prediction sequence. To this end, we propose MTS-Mixers, which use two factorized modules to capture temporal and channel dependencies. Experimental results on several real-world datasets show that MTS-Mixers outperform existing Transformer-based models with higher efficiency.

研究动机与目标

• 评估注意力机制在时间序列预测中的有效性。
• 提出一个通用框架（MTS-Mixers），对时序和通道依赖进行分离捕获。
• 通过因子化的时序和通道混合利用时间序列的低秩特性。
• 在多个真实世界数据集上展示最先进的预测精度和效率。

提出的方法

• 引入 MTS-Mixers，通过时序和通道模块将输入 Xh ∈ R^{n×c} 映射到预测 Xf ∈ R^{m×c}。
• 展示三种实现：(i) 基于注意力的 MTS-Mixer，(ii) 随机矩阵 MTS-Mixer，(iii) 具有低秩分解的因子化 MLP/通道方法。
• 使用因子化的时序和通道混合来减少冗余并提高效率。
• 时序因子分解将数据下采样为 s 个交错子序列，并在合并前为每个子序列学习时序特征。
• 通道因子分解通过低秩分解（例如截断的 SVD、NMF）对通道交互进行去噪，并采用类似于分解的 MLP 的变换。
• 提供一个可选的嵌入/位置编码通道，以及从学习到的特征到预测的直接线性映射。
• 证明注意力可能并非捕获时序依赖所必需，并且输入与输出序列之间的映射至关重要。

实验结果

研究问题

• RQ1 注意力在捕获多变量时间序列预测中的时序依赖方面是否必要？
• RQ2 将时序建模与通道建模分离为因子化模块是否能提升预测性能和效率？
• RQ3 低秩因子分解方法是否能有效减少多变量时间序列数据中的冗余？
• RQ4 不同的 MTS-Mixer 变体（MLP、随机矩阵、注意力）在公开数据集上与最先进的基线相比如何？

主要发现

• MTS-Mixers 在六个真实世界数据集上实现了最先进的性能，在均方误差（MSE）和平均绝对误差（MAE）方面有显著提升。
• 因子化的时序和通道混合在准确性和效率上优于基于 Transformer 的模型。
• 因子化的 MLP 和因子化注意力变体优于原生注意力和许多基线，在较长预测时段上具有显著提升。
• 时序因子分解受益于更多的子序列（更高的 s），但可能需要参数共享以平衡效率。
• 通道因子分解通过低秩去噪（例如截断的 SVD、NMF）的通道因子分解相比无去噪显著降低误差。
• 运行时分析显示 MTS-Mixers 在训练/推理效率上优于若干基于 Transformer 的竞争对手。