[论文解读] Time Series Generation with Masked Autoencoder

Mengyue Zha, SiuTim Wong+3 more|arXiv (Cornell University)|Jan 14, 2022

Time Series Analysis and Forecasting被引用 7

一句话总结

该论文提出 ExtraMAE，一种用于时间序列生成的自监督掩码自编码器，配备外推模块，其在生成质量、速度和可扩展性方面均优于当前最先进模型。通过掩码时间序列的片段并利用轻量级、解耦的解码器架构进行重建，ExtraMAE 学习到稳健的时间动态特性，即使在极端掩码比例（高达 92%）下也能生成高保真度的合成数据。

ABSTRACT

This paper shows that masked autoencoder with extrapolator (ExtraMAE) is a scalable self-supervised model for time series generation. ExtraMAE randomly masks some patches of the original time series and learns temporal dynamics by recovering the masked patches. Our approach has two core designs. First, ExtraMAE is self-supervised. Supervision allows ExtraMAE to effectively and efficiently capture the temporal dynamics of the original time series. Second, ExtraMAE proposes an extrapolator to disentangle two jobs of the decoder: recovering latent representations and mapping them back into the feature space. These unique designs enable ExtraMAE to consistently and significantly outperform state-of-the-art (SoTA) benchmarks in time series generation. The lightweight architecture also makes ExtraMAE fast and scalable. ExtraMAE shows outstanding behavior in various downstream tasks such as time series classification, prediction, and imputation. As a self-supervised generative model, ExtraMAE allows explicit management of the synthetic data. We hope this paper will usher in a new era of time series generation with self-supervised models.

研究动机与目标

• 通过生成高质量合成数据来解决时间序列深度学习中的数据稀缺问题。
• 克服现有无监督模型在时间序列生成中的局限性，例如对多样性缺乏控制以及无法处理插补等下游任务。
• 开发一种可扩展、高效且自监督的模型，在保留时间动态特性的同时，实现对合成数据的显式管理。
• 探究监督预训练和辅助损失是否能提升时间序列生成性能，特别是在保真度和实用性方面。
• 研究模型在极端掩码比例下的鲁棒性及其在多样化下游任务中的泛化能力。

提出的方法

• ExtraMAE 使用掩码自编码器框架，训练过程中随机掩码输入时间序列的片段。
• 模型仅从未掩码片段中提取潜在表征，避免来自掩码区域的信息泄露。
• 外推模块在潜在空间中重建掩码片段，将表征学习与特征空间映射任务解耦。
• 解码器将重建后的潜在表征映射回原始时间序列空间，确保连续性并避免不连续现象。
• 架构用轻量级 RNN 替代了重型 Transformer 块，显著提升了推理速度和可扩展性。
• 训练采用仅基于重建损失的自监督方式，无需辅助损失或预训练，从而提升泛化能力并避免训练-生成分布不匹配问题。

实验结果

研究问题

• RQ1 带有外推模块设计的自监督掩码自编码器是否能优于现有最先进模型在时间序列生成中的表现？
• RQ2 在极端掩码比例（如 92%）下，ExtraMAE 在保真度和下游任务实用性方面的表现如何？
• RQ3 与仅使用重建损失的最小化训练目标相比，引入辅助损失（如监督嵌入或自编码器预训练）是否能提升或降低模型性能？
• RQ4 ExtraMAE 是否能生成既多样化又适用于下游任务（如分类、预测和插补）的合成时间序列？
• RQ5 架构选择（如用 RNN 替代 Transformer）对模型效率和性能有何影响？

主要发现

• ExtraMAE 在时间序列生成任务中达到最先进性能，在预测、分类和插补任务中全面超越所有基线模型。
• 在最优掩码比例下（股票为 4.2%，正弦波为 16.7%，能源为 50.0%），ExtraMAE 的预测得分分别为 0.037、0.101 和 0.256，且方差极小。
• 即使在极端掩码比例下（正弦波和能源为 91.7%，股票为 50.0%），ExtraMAE 仍保持强劲性能，预测得分分别为 0.106 和 0.051，优于亚军模型。
• 消融实验表明，增加自编码器预训练或监督嵌入损失会降低性能，说明仅使用简单重建损失已足够且最优。
• 仅使用重建损失训练的最终模型（R 模式）取得最佳预测得分（0.037068 ± 0.000150）和判别得分（0.071965 ± 0.020396），证实了最小化训练目标的优越性。
• 由于其基于轻量级 RNN 的架构，该模型是文献中时间序列生成速度最快的，具备良好的可扩展性，支持实时部署。