[论文解读] Computer Vision Self-supervised Learning Methods on Time Series

Dae-Soo Lee, Erlend Aune|arXiv (Cornell University)|Sep 2, 2021

Anomaly Detection Techniques and Applications被引用 8

一句话总结

本文评估了计算机视觉自监督学习（SSL）方法——特别是基于孪生网络的框架（如VICReg）——在时间序列数据上的表现，展示了其在UCR和UEA基准上的有效性。本文提出VIbCReg，一种改进的SSL方法，通过增强协方差正则化并引入迭代归一化头，加速收敛并提升表征质量。

ABSTRACT

Self-supervised learning (SSL) has had great success in both computer vision. Most of the current mainstream computer vision SSL frameworks are based on Siamese network architecture. These approaches often rely on cleverly crafted loss functions and training setups to avoid feature collapse. In this study, we evaluate if those computer-vision SSL frameworks are also effective on a different modality ( extit{i.e.,} time series). The effectiveness is experimented and evaluated on the UCR and UEA archives, and we show that the computer vision SSL frameworks can be effective even for time series. In addition, we propose a new method that improves on the recently proposed VICReg method. Our method improves on a extit{covariance} term proposed in VICReg, and in addition we augment the head of the architecture by an iterative normalization layer that accelerates the convergence of the model.

研究动机与目标

• 探究主流计算机视觉自监督学习（SSL）框架是否适用于时间序列数据。
• 解决尽管时间序列在工业、金融和社会应用中广泛应用，但其在自监督学习方面仍缺乏关注的问题。
• 通过改进协方差正则化和模型收敛性，对VICReg方法进行优化。
• 通过线性评估、微调和基于SVM的评估，在标准时间序列基准上验证所提方法。
• 利用FD和FcE指标分析训练过程中特征的去相关性与分量表达能力。

提出的方法

• 通过应用随机裁剪、随机振幅缩放和随机垂直偏移等数据增强策略，将基于孪生网络的SSL框架（SimCLR、BYOL、SimSiam、Barlow Twins、VICReg）适配至时间序列数据。
• 提出VIbCReg，作为VICReg的增强版本，改进了协方差正则化项，并在投影头中引入迭代归一化层，以加速收敛。
• 采用数据增强策略，包括两种不同裁剪长度的随机裁剪（50% 和 100%）以及基于正态分布乘数（αrar = 0.1，第二部分）的随机振幅缩放。
• 基于不变性、方差和协方差正则化构建对比损失，损失函数在同一样本的多个视图上计算。
• 引入FD（特征去相关性）和FcE（特征分量表达能力）指标，以监控训练过程中学习表征的质量。
• 在投影头中使用带迭代归一化的投影器，以稳定并加速训练，提升特征学习的鲁棒性。

实验结果

研究问题

• RQ1 原本为图像设计的主流计算机视觉SSL框架是否能有效应用于时间序列数据？
• RQ2 在UCR和UEA等时间序列基准上，不同SSL框架（对比式与非对比式）的表现如何？
• RQ3 能否通过优化协方差正则化和网络结构，改进VICReg框架在时间序列上的表现？
• RQ4 在投影头中引入迭代归一化层是否能加速收敛并提升表征质量？
• RQ5 FD和FcE指标在多大程度上与时间序列分类任务的下游性能相关？

主要发现

• 计算机视觉SSL框架（包括VICReg）在时间序列数据上表现有效，在UCR和UEA基准上取得了优异性能。
• VIbCReg收敛速度优于VICReg，且性能更优，FD指标趋近于零，表明特征去相关性有效。
• VIbCReg的FcE指标快速收敛至1，表明在整个训练过程中特征分量表达能力强劲。
• 在数据增强中使用多种裁剪长度（50% 和 100%）可提升表征学习效果，表现为下游准确率更高。
• 投影头中引入的迭代归一化层显著加速了收敛，且未损害表征质量。
• 所提出的VIbCReg方法在多个UCR数据集上，于5-kNN分类准确率上优于基线SSL方法，线性评估与基于SVM的评估均验证了其优越性。