[论文解读] A Systematic Review for Transformer-based Long-term Series Forecasting

Liyilei Su, Xumin Zuo+4 more|arXiv (Cornell University)|Oct 31, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

本篇系统性综述全面分析了用于长期时间序列预测（LTSF）的基于Transformer的模型，涵盖架构变体、基准数据集、评估指标以及训练最佳实践。研究识别出关键的设计模式与新兴研究方向，为基于Transformer的长时程预测未来研究提供了结构化基础。

ABSTRACT

The emergence of deep learning has yielded noteworthy advancements in time series forecasting (TSF). Transformer architectures, in particular, have witnessed broad utilization and adoption in TSF tasks. Transformers have proven to be the most successful solution to extract the semantic correlations among the elements within a long sequence. Various variants have enabled transformer architecture to effectively handle long-term time series forecasting (LTSF) tasks. In this article, we first present a comprehensive overview of transformer architectures and their subsequent enhancements developed to address various LTSF tasks. Then, we summarize the publicly available LTSF datasets and relevant evaluation metrics. Furthermore, we provide valuable insights into the best practices and techniques for effectively training transformers in the context of time-series analysis. Lastly, we propose potential research directions in this rapidly evolving field.

研究动机与目标

• 提供面向长期时间序列预测（LTSF）的Transformer架构及其变体的全面概述。
• 总结领域内公开可用的LTSF数据集及标准评估指标。
• 提炼在时间序列数据上有效训练Transformer的最佳实践。
• 识别并讨论基于Transformer的LTSF中现存的主要挑战与有前景的研究方向。

提出的方法

• 2017年至2023年期间，对基于Transformer的长期时间序列预测（LTSF）方法进行系统性文献综述。
• 根据注意力机制、位置编码和序列建模策略，对Transformer变体进行分类。
• 整理并分析20余个公开可用的LTSF数据集及其特征。
• 综合分析各研究中的评估协议、指标（如MAE、RMSE、MAPE）及标准基线。
• 识别出可提升模型泛化能力的训练技术，如输入分词、损失函数和正则化策略。
• 将架构创新与LTSF中的具体挑战（如长程依赖建模和计算效率）进行映射。

实验结果

研究问题

• RQ1 在长期时间序列预测中，主流的Transformer架构及其关键改进是什么？
• RQ2 LTSF研究中最常使用的数据集和评估指标有哪些？它们如何影响模型性能的比较？
• RQ3 哪些训练技术与超参数选择能提升基于Transformer的LTSF模型的泛化能力与鲁棒性？
• RQ4 当前基于Transformer的LTSF方法存在哪些主要局限与开放挑战？
• RQ5 在推进基于Transformer的长期预测方面，最具前景的未来研究方向是什么？

主要发现

• 面向LTSF，已涌现出大量Transformer变体，其中Informer、Autoformer和Temporal Fusion Transformer等方法在基准数据集上实现了最先进性能。
• 最广泛使用数据集包括ETTh1、ETTh2、ECL和Weather，其中ETTh1与ETTh2在长时程预测任务中被引用频率最高。
• MAE与RMSE等评估指标被持续使用，但各研究在预测时域设置与数据划分方面仍缺乏标准化。
• 最佳实践包括使用相对位置编码、稀疏注意力机制以及解耦分词策略，以提升长序列建模与训练稳定性。
• 尽管已有进展，模型在跨领域泛化能力、超长序列计算效率以及注意力模式可解释性方面仍存在挑战。
• 新兴研究方向包括混合架构、自监督预训练以及面向长程依赖的改进注意力机制。