[论文解读] A Transformer-based Framework for Multivariate Time Series Representation Learning

George Zerveas, Srideepika Jayaraman+3 more|arXiv (Cornell University)|Oct 6, 2020

Time Series Analysis and Forecasting被引用 10

一句话总结

本文提出了一种基于Transformer的新型框架，用于无监督多变量时间序列表示学习，通过去噪自编码目标在无标签数据上预训练模型。该方法在多变量时间序列回归与分类任务中达到最先进性能，甚至超越了监督方法，尤其在标注数据有限时表现更优，并证明了无监督预训练即使在重复使用相同训练样本的情况下也能提升性能。

ABSTRACT

In this work we propose for the first time a transformer-based framework for unsupervised representation learning of multivariate time series. Pre-trained models can be potentially used for downstream tasks such as regression and classification, forecasting and missing value imputation. By evaluating our models on several benchmark datasets for multivariate time series regression and classification, we show that not only does our modeling approach represent the most successful method employing unsupervised learning of multivariate time series presented to date, but also that it exceeds the current state-of-the-art performance of supervised methods; it does so even when the number of training samples is very limited, while offering computational efficiency. Finally, we demonstrate that unsupervised pre-training of our transformer models offers a substantial performance benefit over fully supervised learning, even without leveraging additional unlabeled data, i.e., by reusing the same data samples through the unsupervised objective.

研究动机与目标

• 开发一种通用的、基于Transformer的无监督多变量时间序列表示学习框架。
• 探究无监督预训练是否能在不依赖额外无标签数据的情况下，提升时间序列回归与分类任务的下游性能。
• 评估基于Transformer的模型在不同规模与维度的多变量时间序列基准数据集上的有效性。
• 证明所提出框架的计算效率与可扩展性，即使在CPU上也能高效运行。
• 探索所学表示在下游任务（如缺失值填补、预测与相似性分析）中的实用性。

提出的方法

• 该框架采用Transformer编码器与多头自注意力机制，学习多变量时间序列的密集上下文表示。
• 通过去噪自编码目标进行无监督预训练，即重建输入序列中被掩码的标记。
• 模型使用可学习的位置嵌入，即使在非均匀采样或变长序列中也能保持时间顺序。
• 预训练完成后，所学表示通过端到端微调用于回归与分类等下游任务。
• 通过在推理阶段修改掩码模式，该架构可轻松适配缺失值填补与预测任务。
• 该框架在11个公开的多变量时间序列数据集上进行评估，涵盖多种领域与数据特征。

实验结果

研究问题

• RQ1 基于Transformer的模型是否仅通过无监督预训练即可在多变量时间序列分类与回归任务中达到最先进性能？
• RQ2 当重复使用相同的标注数据样本时，无监督预训练是否仍能提升性能，优于完全监督训练？
• RQ3 该框架在训练样本极少的数据集（如数百个样本）上表现如何？
• RQ4 所学表示是否能有效用于下游任务，如缺失值填补与预测？
• RQ5 模型性能在不同维度与长度的数据集上如何变化？

主要发现

• 所提框架在全部11个多变量时间序列回归与分类基准数据集上均达到最先进性能，优于所有先前方法，包括监督深度学习与非深度学习的最先进模型。
• 在InsectWingBeat数据集（30k个样本，200维）上，模型准确率达到0.689，显著优于XGBoost（0.369），后者为第二好的方法。
• 即使未使用额外无标签数据，该模型仍超越了监督方法的性能，证明无监督预训练通过重用相同训练样本即可带来性能增益。
• 该框架在仅含数百个训练样本的数据集上也表现出色，在11个数据集中有8个实现了性能提升。
• 模型展现出良好的计算效率，在CPU上训练高效，训练速度与最快非深度学习方法相当。
• 所学表示支持高质量缺失值填补，去噪任务的均方根误差接近零，表明其具备强大的重建能力。