[论文解读] Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping

Vandan Gorade, Azad Singh+1 more|arXiv (Cornell University)|Apr 24, 2022

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出了一种用于时间序列表征学习的非对比自监督学习框架，通过使用共享权重的孪生网络与双特征提取头，同时捕捉低频和高频特征。通过对同一原始数据的两个视图应用相同的增强操作，并利用感受野不同的时间卷积网络（TCNs），该方法在五个真实世界数据集上实现了最先进性能，优于对比和其它自监督方法，且仅使用10%的标注数据。

ABSTRACT

Learning representation from unlabeled time series data is a challenging problem. Most existing self-supervised and unsupervised approaches in the time-series domain do not capture low and high-frequency features at the same time. Further, some of these methods employ large scale models like transformers or rely on computationally expensive techniques such as contrastive learning. To tackle these problems, we propose a non-contrastive self-supervised learning approach efficiently captures low and high-frequency time-varying features in a cost-effective manner. Our method takes raw time series data as input and creates two different augmented views for two branches of the model, by randomly sampling the augmentations from same family. Following the terminology of BYOL, the two branches are called online and target network which allows bootstrapping of the latent representation. In contrast to BYOL, where a backbone encoder is followed by multilayer perceptron (MLP) heads, the proposed model contains additional temporal convolutional network (TCN) heads. As the augmented views are passed through large kernel convolution blocks of the encoder, the subsequent combination of MLP and TCN enables an effective representation of low as well as high-frequency time-varying features due to the varying receptive fields. The two modules (MLP and TCN) act in a complementary manner. We train an online network where each module learns to predict the outcome of the respective module of target network branch. To demonstrate the robustness of our model we performed extensive experiments and ablation studies on five real-world time-series datasets. Our method achieved state-of-art performance on all five real-world datasets.

研究动机与目标

• 解决现有自监督时间序列方法在同时捕捉低频和高频时间模式方面的局限性。
• 开发一种成本效益高的非对比学习框架，避免计算成本高昂的对比学习以及如Transformer等大模型。
• 通过使用相同增强族对同一时间序列的两个增强视图进行特征自举，提升表征泛化能力。
• 在仅使用少量标注数据的情况下，展示在多样化真实世界时间序列数据集上的稳健性能。

提出的方法

• 该框架采用具有两个权重共享分支的孪生神经网络，每个分支处理同一原始时间序列输入的不同增强视图。
• 每个分支后接一个低频特征自举（LFFB）模块和一个高频特征自举（HFFB）模块，分别使用多层感知机（MLP）和时间卷积网络（TCN）。
• 增强操作从单一增强族（抖动、置换、旋转）中采样，确保一致性并避免负样本对的计算。
• TCN分支使用空洞卷积，通过不同的卷积核大小和膨胀率，捕捉跨多时间尺度的长程依赖关系。
• 平衡损失函数结合了LFFB和HFFB模块的监督信号，其中可学习的平衡因子λ用于加权各模块的贡献。
• 模型通过仅使用正样本对进行端到端训练，避免了对比学习带来的计算负担。

Figure 1: Given an input sample x, model creates two augmented versions $x_{1}\sim t$ and $x_{2}\sim t^{{}^{\prime}}$ , where $t$ and $t^{{}^{\prime}}$ are sampled from a set $T$ of augmentations. $x_{1}$ and $x_{2}$ pass through the backbone encoders parameterized by $\theta$ and $\epsilon$ which g

实验结果

研究问题

• RQ1 非对比自监督学习方法是否能在不依赖负样本对的情况下，有效学习时间序列数据中互补的低频和高频表征？
• RQ2 增强策略的选择——特别是对两个视图均使用同一增强族——如何影响表征质量和模型泛化能力？
• RQ3 相对于主干编码器，TCN卷积核大小和膨胀率的最优配置是什么，以捕捉多尺度时间模式？
• RQ4 所提出方法在仅使用少量标注数据的情况下，对多样化时间序列数据集的泛化能力如何？

主要发现

• 所提方法在五个真实世界时间序列数据集（包括HAR、ECG和EEG）上实现了最先进性能，优于现有对比和非对比方法。
• 在HAR数据集上，当TCN卷积核大小小于主干网络卷积核大小且膨胀率大于TCN卷积核大小时，模型达到93.28 ± 0.36的宏F1分数。
• 当平衡因子λ设置为极端值（如λ = 500）时，性能显著下降，宏F1分数降至87.56 ± 13.26，表明对λ选择具有敏感性。
• 仅使用10%的标注数据，模型即可实现接近监督学习的性能，展现出强大的数据效率。
• 消融研究证实，对两个视图均使用同一增强族的策略优于混合增强策略。
• 最优配置被确定为：TCN卷积核大小大于主干网络卷积核大小，且膨胀率超过TCN卷积核大小，从而最大化特征多样性。