[论文解读] Learning to Embed Time Series Patches Independently

Seunghan Lee, Taeyoung Park+1 more|arXiv (Cornell University)|Dec 27, 2023

Time Series Analysis and Forecasting被引用 6

一句话总结

本文提出时间序列补丁独立性（PITS），一种自监督方法，通过使用简单的多层感知机（MLP）独立重建未掩码补丁，而非依赖注意力机制预测掩码补丁，从而提升时间序列表示学习效果。PITS在预测和分类任务中均达到最先进性能，且相比现有基于Transformer的模型，参数效率更高、推理速度更快。

ABSTRACT

Masked time series modeling has recently gained much attention as a self-supervised representation learning strategy for time series. Inspired by masked image modeling in computer vision, recent works first patchify and partially mask out time series, and then train Transformers to capture the dependencies between patches by predicting masked patches from unmasked patches. However, we argue that capturing such patch dependencies might not be an optimal strategy for time series representation learning; rather, learning to embed patches independently results in better time series representations. Specifically, we propose to use 1) the simple patch reconstruction task, which autoencode each patch without looking at other patches, and 2) the simple patch-wise MLP that embeds each patch independently. In addition, we introduce complementary contrastive learning to hierarchically capture adjacent time series information efficiently. Our proposed method improves time series forecasting and classification performance compared to state-of-the-art Transformer-based models, while it is more efficient in terms of the number of parameters and training/inference time. Code is available at this repository: https://github.com/seunghan96/pits.

研究动机与目标

• 挑战时间序列补丁间依赖关系对有效表示学习至关重要的假设。
• 通过将补丁处理与补丁间注意力机制解耦，提升时间序列表示学习的效率与鲁棒性。
• 开发一种对分布偏移和补丁尺寸变化更具鲁棒性的自监督预训练策略。
• 提出一种基于独立补丁嵌入与互补对比学习的轻量化、可解释性架构。

提出的方法

• 提出一种补丁独立（PI）预训练任务，通过重建未掩码补丁而非预测掩码补丁，避免对补丁间依赖关系的依赖。
• 采用基于简单MLP的编码器，独立处理每个补丁，消除注意力机制以强制实现补丁独立性。
• 通过同一时间序列样本的互补随机掩码生成正样本对，引入互补对比学习（CL）。
• 利用分层对比学习，高效捕捉相邻时间模式，无需依赖注意力建模。
• 将未掩码补丁重建与对比学习相结合，联合优化局部表示质量与全局结构。
• 采用多任务目标端到端训练模型：PI任务使用重建损失，CL目标使用对比损失。

实验结果

研究问题

• RQ1 独立重建未掩码补丁是否能带来优于预测掩码补丁的时间序列表示？
• RQ2 基于简单MLP的架构能否在时间序列表示学习中超越基于注意力的Transformer？
• RQ3 补丁独立性如何影响对分布偏移和不同补丁尺寸变化的鲁棒性？
• RQ4 互补对比学习能否在无需注意力机制的情况下高效捕捉局部时间依赖？
• RQ5 所提方法在参数量与计算效率方面是否优于最先进自监督时间序列模型？

主要发现

• PITS在时间序列预测与分类任务中均达到最先进性能，优于包括PatchTST、TimeMAE和FEDFormer在内的SOTA方法。
• 在ETTm2数据集上，PITS相比PatchTST将推理时间减少56%（3.3秒 vs. 7.5秒），参数量减少99.9%（5,772 vs. 406,028）。
• PI任务在分布偏移下表现出更优鲁棒性，当PD-based模型失效时，PITS仍能保持性能。
• MLP-based PI架构生成更具可解释性的表示：t-SNE可视化显示更清晰的类别分离，注意力图揭示季节性模式。
• 互补对比学习优于基线CL，分层CL进一步提升性能。
• PI架构对补丁尺寸变化更具鲁棒性，在不同补丁长度下均保持一致性能。