[论文解读] Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem

Peiwang Tang, Xianchao Zhang|arXiv (Cornell University)|Jan 4, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

Infomaxformer 提出了一种基于最大熵的自注意力机制和键值蒸馏方法，将 Transformer 的复杂度从 𝒪(L²) 降低至 𝒪(L)，从而在提升准确率的同时实现了长序列时间序列预测。它结合了季节-趋势分解与稀疏注意力机制，以捕捉长程依赖关系，在多个长序列数据集上优于当前最先进模型。

ABSTRACT

The Transformer architecture yields state-of-the-art results in many tasks such as natural language processing (NLP) and computer vision (CV), since the ability to efficiently capture the precise long-range dependency coupling between input sequences. With this advanced capability, however, the quadratic time complexity and high memory usage prevents the Transformer from dealing with long time-series forecasting problem (LTFP). To address these difficulties: (i) we revisit the learned attention patterns of the vanilla self-attention, redesigned the calculation method of self-attention based the Maximum Entropy Principle. (ii) we propose a new method to sparse the self-attention, which can prevent the loss of more important self-attention scores due to random sampling.(iii) We propose Keys/Values Distilling method motivated that a large amount of feature in the original self-attention map is redundant, which can further reduce the time and spatial complexity and make it possible to input longer time-series. Finally, we propose a method that combines the encoder-decoder architecture with seasonal-trend decomposition, i.e., using the encoder-decoder architecture to capture more specific seasonal parts. A large number of experiments on several large-scale datasets show that our Infomaxformer is obviously superior to the existing methods. We expect this to open up a new solution for Transformer to solve LTFP, and exploring the ability of the Transformer architecture to capture much longer temporal dependencies.

研究动机与目标

• 解决原始 Transformer 在长序列时间序列预测（LTFP）中时间与内存复杂度呈二次方增长的问题。
• 克服稀疏注意力机制中因随机采样导致的性能下降问题。
• 通过一种新颖的键值蒸馏机制，有效去除自注意力图中的冗余特征。
• 通过将时间序列分解与 Transformer 架构结合，提升对复杂时间序列模式的建模能力。
• 在保持高预测准确率的同时，支持有效处理超长输入序列（最长可达 1440 步）。

提出的方法

• 基于最大熵原理重新设计自注意力机制，引导稀疏注意力的计算，降低复杂度，同时保留关键依赖关系。
• 提出一种基于熵最大化的稀疏性机制（MEA），通过选择主导查询而非随机采样，最小化特征损失。
• 提出键值蒸馏方法，压缩冗余的注意力表征，将时间和内存复杂度均降低至 𝒪(L)。
• 将时间序列分解（TSD）与编码器-解码器架构结合，显式分离并建模季节性和趋势分量。
• 将 MEA 与 TSD 结合，实现高精度的长序列建模，避免因稀疏性导致的性能下降。

Figure 1. Infomaxformer architecture

实验结果

研究问题

• RQ1 最大熵原理能否用于设计更高效、更有效的稀疏注意力机制，以应对长序列时间序列预测？
• RQ2 如何在不牺牲预测性能的前提下，有效去除自注意力图中的冗余特征？
• RQ3 将时间序列分解与稀疏注意力结合，是否能提升 Transformer 在长程依赖建模方面的能力？
• RQ4 所提出的方法能否在超长输入序列（如 1440 步）上实现扩展，同时保持或提升准确率？
• RQ5 在内存和序列长度受限条件下，MEA 的性能与标准注意力及其他稀疏注意力机制相比如何？

主要发现

• Infomaxformer 将时间和内存复杂度从 𝒪(L²) 降低至 𝒪(L)，支持处理最长达 1440 步的超长序列。
• 在 ETTh1 数据集上，Infomaxformer 在序列长度为 1440 时，MSE 达到 0.573，MAE 为 0.585，优于基线模型。
• 消融实验表明，若移除 MEA、TSD 或键值蒸馏任一模块，性能均出现显著下降。
• TSD 与 MEA 的结合在长序列预测中（如 192 步预测）优于 Autoformer 中的 SDB 与 AC 组合。
• 当采样因子 U 足够大时，其对性能影响极小，表明 MEA 对方差估计具有鲁棒性。
• 与 Informer 不同，该模型在不同采样因子下均保持稳定性能，归因于更智能的初始采样策略。

(a) Softmax scores at Head1@Encoder layer