[论文解读] A Survey on Time-Series Pre-Trained Models

Qianli Ma, Zhen Liu+5 more|arXiv (Cornell University)|May 18, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

本综述全面回顾了时间序列预训练模型（TS-PTMs），根据预训练技术将其分类为监督式、无监督式和自监督式，同时在434个数据集和679个迁移学习场景中评估了27种方法。结果表明，自监督式和基于Transformer的TS-PTMs在时间序列分类和异常检测任务中均达到最先进性能。

ABSTRACT

Time-Series Mining (TSM) is an important research area since it shows great potential in practical applications. Deep learning models that rely on massive labeled data have been utilized for TSM successfully. However, constructing a large-scale well-labeled dataset is difficult due to data annotation costs. Recently, pre-trained models have gradually attracted attention in the time series domain due to their remarkable performance in computer vision and natural language processing. In this survey, we provide a comprehensive review of Time-Series Pre-Trained Models (TS-PTMs), aiming to guide the understanding, applying, and studying TS-PTMs. Specifically, we first briefly introduce the typical deep learning models employed in TSM. Then, we give an overview of TS-PTMs according to the pre-training techniques. The main categories we explore include supervised, unsupervised, and self-supervised TS-PTMs. Further, extensive experiments involving 27 methods, 434 datasets, and 679 transfer learning scenarios are conducted to analyze the advantages and disadvantages of transfer learning strategies, Transformer-based models, and representative TS-PTMs. Finally, we point out some potential directions of TS-PTMs for future work.

研究动机与目标

• 基于预训练技术，为时间序列预训练模型（TS-PTMs）提供系统性的分类体系。
• 分析迁移学习策略、基于Transformer的架构以及代表性TS-PTMs的优势与局限性。
• 在434个数据集和679个迁移学习场景中，评估27种TS-PTM方法的性能表现。
• 识别TS-PTM在开发与应用过程中面临的关键挑战与未来研究方向。

提出的方法

• 根据是否使用标注数据、未标注数据或伪标签数据，将TS-PTMs分为三类主要类型：监督式、无监督式和自监督式预训练。
• 回顾时间序列挖掘中使用的深度学习模型，包括Transformer、自编码器和序列模型。
• 在27种方法、434个数据集和679个迁移学习场景中开展广泛实验，以比较模型性能。
• 评估自监督学习中的预训练目标，如重建损失、对比学习和伪标签化方法。
• 分析模型架构（尤其是Transformer）对时间序列数据表征学习的影响。
• 提供公开可访问的代码库（https://github.com/qianlima-lab/time-series-ptms），以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 不同预训练技术（监督式、无监督式和自监督式）在学习有效时间序列表征方面如何比较？
• RQ2 基于Transformer的模型与非Transformer架构在下游时间序列任务中的相对性能如何？
• RQ3 在低数据场景下，迁移学习策略在时间序列分类和异常检测中的有效性如何？
• RQ4 当前TS-PTM方法在数据效率和泛化能力方面面临的主要挑战与局限性是什么？
• RQ5 时间序列预训练领域未来最具前景的研究方向是什么？

主要发现

• DCdetector在SMD数据集（F1 = 0.9563）和SWAT数据集（F1 = 0.9588）上达到最高F1分数，优于其他模型（包括GPT4TS和TimesNet）。
• TS2Vec在MSL数据集上取得F1 = 0.8748的优异表现，在SMAP数据集上取得F1 = 0.7013，展现出在多变量数据集上的强鲁棒性。
• GPT4TS在PSM数据集（F1 = 0.9706）和NIPS TS Water数据集（F1 = 0.7844）上表现最佳，表明其在复杂多变量场景中具有强大泛化能力。
• TimesNet在PSM（F1 = 0.9183）和SWAT（F1 = 0.9265）数据集上取得高F1分数，显示出在多样化条件下异常检测的卓越性能。
• LSTM-VAE与DONUT在多变量数据集上表现持续不佳，SMD与MSL数据集上的F1分数均低于0.4，凸显其表征学习能力的局限性。
• 包括LSTM-VAE、DOUNT和TS2Vec在内的多个模型因内存错误在PSM与SWAT数据集上失败，表明当前TS-PTM实现存在可扩展性与资源约束问题。