[论文解读] A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting

Zanwei Zhou, Ruizhe Zhong+4 more|arXiv (Cornell University)|Dec 6, 2022

Time Series Analysis and Forecasting被引用 8

一句话总结

本文指出，MTSF Transformer 中的标准时间点标记化会导致因自注意力机制的标记均匀性归纳偏差而产生过度平滑问题。通过改用时间可变标记化（TVT），并将解码器简化为单层线性层，作者在保持架构简洁的同时，实现了更优的长期预测性能，在五个基准测试中均超越了当前最先进模型。

ABSTRACT

Multivariate time series forecasting (MTSF) is a fundamental problem in numerous real-world applications. Recently, Transformer has become the de facto solution for MTSF, especially for the long-term cases. However, except for the one forward operation, the basic configurations in existing MTSF Transformer architectures were barely carefully verified. In this study, we point out that the current tokenization strategy in MTSF Transformer architectures ignores the token uniformity inductive bias of Transformers. Therefore, the vanilla MTSF transformer struggles to capture details in time series and presents inferior performance. Based on this observation, we make a series of evolution on the basic architecture of the vanilla MTSF transformer. We vary the flawed tokenization strategy, along with the decoder structure and embeddings. Surprisingly, the evolved simple transformer architecture is highly effective, which successfully avoids the over-smoothing phenomena in the vanilla MTSF transformer, achieves a more detailed and accurate prediction, and even substantially outperforms the state-of-the-art Transformers that are well-designed for MTSF.

研究动机与目标

• 探究原始 MTSF Transformer 性能下降的根本原因，特别是长期预测中的过度平滑现象。
• 分析标记化策略对自注意力机制在时间序列建模中朝向标记均匀性的归纳偏差的影响。
• 通过重新思考标记化、嵌入方式和解码器结构，对 MTSF 的 Transformer 架构进行重构，以缓解过度平滑问题。
• 证明采用 TVT 和线性解码器的简化架构能够超越复杂且精心设计的当前最先进 Transformer 模型。

提出的方法

• 用时间可变标记化（TVT）替代传统的时点标记化（TPT），将每个变量视为独立标记，从而将归纳偏差从时间维度转移到变量维度。
• 重新设计位置嵌入以适配 TVT，确保跨变量的时间关系得以保留。
• 用单层线性层替代标准 Transformer 解码器，以消除冗余的注意力计算并减少过拟合。
• 采用单次前向传播推理策略，避免自回归误差累积，方法与 LogSparse 和 Informer 一致。
• 在标准基准数据集上，使用标准 MTSF 损失函数进行端到端训练。
• 通过预测序列与真实序列之间的欧氏距离相似性图，量化过度平滑程度，评估标记均匀性。

实验结果

研究问题

• RQ1 MTSF Transformer 中的标准时点标记化策略是否因自注意力机制的标记均匀性归纳偏差而导致过度平滑？
• RQ2 将标记化重新定义为聚焦于变量而非时点，能否减少过度平滑并提升预测准确性？
• RQ3 采用单层线性解码器的简化解码器是否足以在长期 MTSF 任务中超越复杂且依赖注意力机制的解码器？
• RQ4 所提出的基于 TVT 的架构在预测准确性和泛化能力方面，与当前最先进 MTSF Transformer 模型相比如何？

主要发现

• 时点标记化（TPT）策略在预测中导致强烈的、一致的标记均匀性，这与真实数据中变量和时间变化的均匀性存在显著差异。
• 基于 TVT 的模型能更好地保留时间序列中的高频变化，因此相比 TPT 模型，其预测结果过度平滑程度更低。
• 采用线性解码器的 TVT-based Transformer 在五个标准基准测试中表现更优，多数情况下超越了当前最先进模型。
• TVT 模型表现出更少的过拟合现象，其时点标记均匀性曲线在训练集和测试集上均更接近真实值。
• 简化解码器设计显著提升了性能，表明解码器中复杂的注意力机制并非实现高精度长期预测的必要条件。
• 所提出的架构以极低的结构复杂度实现了高性能，挑战了 MTSF Transformer 设计日益复杂的趋势。