[论文解读] Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals

Daojun Liang, Haixia Zhang+3 more|arXiv (Cornell University)|Feb 4, 2024

Time Series Analysis and Forecasting被引用 4

一句话总结

Minusformer 提出了一种基于 Transformer 的新型时间序列预测架构，通过用基于减法的残差学习替代加法注意力机制，以缓解过拟合问题。通过双流高速公路机制逐步学习残差，该模型在多个数据集上实现了平均 11.9% 的性能提升，达到当前最优水平，同时增强了可解释性与对深度和超参数的鲁棒性。

ABSTRACT

In this paper, we find that ubiquitous time series (TS) forecasting models are prone to severe overfitting. To cope with this problem, we embrace a de-redundancy approach to progressively reinstate the intrinsic values of TS for future intervals. Specifically, we introduce a dual-stream and subtraction mechanism, which is a deep Boosting ensemble learning method. And the vanilla Transformer is renovated by reorienting the information aggregation mechanism from addition to subtraction. Then, we incorporate an auxiliary output branch into each block of the original model to construct a highway leading to the ultimate prediction. The output of subsequent modules in this branch will subtract the previously learned results, enabling the model to learn the residuals of the supervision signal, layer by layer. This designing facilitates the learning-driven implicit progressive decomposition of the input and output streams, empowering the model with heightened versatility, interpretability, and resilience against overfitting. Since all aggregations in the model are minus signs, which is called Minusformer. Extensive experiments demonstrate the proposed method outperform existing state-of-the-art methods, yielding an average performance improvement of 11.9% across various datasets.The code has been released at https://github.com/Anoise/Minusformer.

研究动机与目标

• 为解决深度时间序列预测模型中，尤其是在高维属性空间下的普遍过拟合问题。
• 在不牺牲预测性能的前提下，提升模型的泛化能力与对过拟合的鲁棒性。
• 通过学习驱动的残差机制，实现输入与输出信号的隐式、渐进式分解。
• 通过将模块级输出与最终预测结构对齐，提升模型的可解释性。
• 设计一种深层、对超参数不敏感的架构，即使在极端深度下仍能保持性能。

提出的方法

• 模型将 Transformer 中的标准加法注意力替换为基于减法的聚合方式，形成一种所有信息流均使用减号的 'Minusformer' 架构。
• 在每个模块中引入辅助输出流，后续输出通过减去先前学习到的结果来学习监督信号的残差。
• 双流设计通过层间残差学习，实现对输入和输出序列的隐式、渐进式分解。
• 由于减法学习带来的去冗余效应，该架构支持深度堆叠（最多 16 个模块）而不会出现过拟合。
• 该方法兼容多种注意力机制（如 Prob-Attention、Period-Attention），支持即插即用式集成以获得性能提升。
• 通过将模块输出与最终预测形状对齐，增强模型可解释性，支持在每一层可视化学习到的组件。

Figure 1: Comparison of the proposed Minusformer and other latest advanced models. The results (MSE) are averaged across all prediction lengths. The numerical suffix after the model indicates the input length of the model. Minusformer is configured with two versions of input length in order to align

实验结果

研究问题

• RQ1 用基于减法的聚合替代加法注意力，是否能降低时间序列预测模型中的过拟合？
• RQ2 通过双流高速公路机制实现的渐进式残差学习，是否能提升模型的泛化能力与性能？
• RQ3 与标准 Transformer 相比，Minusformer 架构在深度堆叠时是否仍能保持强性能？
• RQ4 该模型设计在多大程度上增强了各层学习组件的可解释性？
• RQ5 当与新型注意力机制（如 Prob-Attention 或 Flow-Attention）集成时，Minusformer 的表现如何？

主要发现

• 与现有最先进方法相比，Minusformer 在多样化的真实世界时间序列数据集上实现了平均 11.9% 的性能提升。
• 在 Electricity 和 Weather 数据集上，将 Prob-Attention 集成到 Minusformer 后，MSE 分别降低了 46% 和 61%，创下新的 SOTA 结果。
• 即使堆叠至 16 个模块，该模型仍保持强劲性能，未出现过拟合迹象，而标准 iTransformer 在 8 个模块时即出现过拟合。
• 可视化结果表明，浅层模块在低维设置下学习显著模式，而深层模块则随着模型容量增加吸收残差分量。
• 消融研究（附录 B）表明，该模型对超参数调优的敏感性较低。
• 注意力可视化证实，每一层均学习到有意义且动态演化的模式，深层模块捕捉到更精细的残差特征。

Figure 2: Generalization of the model when time series are aggregated in different directions. The experiment was conducted utilizing Transformer with 4 blocks (baseline) on the Traffic dataset.