[论文解读] Contrastive Neural Processes for Self-Supervised Learning

Konstantinos Kallidromitis, Denis Gudovskiy+3 more|arXiv (Cornell University)|Oct 24, 2021

Music and Audio Processing参考文献 34被引用 4

一句话总结

本文提出对比神经过程（Contrastive Neural Processes, ContrNP），一种自监督学习框架，将时间序列预测的神经过程与对比学习相结合，无需人工设计增强方法即可生成数据增强表示。该方法在工业、医疗和音频数据集上均达到最先进性能，在心电图（ECG）数据上准确率提升超过10%，且仅使用10%标注数据即可达到全监督学习的性能水平。

ABSTRACT

Recent contrastive methods show significant improvement in self-supervised learning in several domains. In particular, contrastive methods are most effective where data augmentation can be easily constructed e.g. in computer vision. However, they are less successful in domains without established data transformations such as time series data. In this paper, we propose a novel self-supervised learning framework that combines contrastive learning with neural processes. It relies on recent advances in neural processes to perform time series forecasting. This allows to generate augmented versions of data by employing a set of various sampling functions and, hence, avoid manually designed augmentations. We extend conventional neural processes and propose a new contrastive loss to learn times series representations in a self-supervised setup. Therefore, unlike previous self-supervised methods, our augmentation pipeline is task-agnostic, enabling our method to perform well across various applications. In particular, a ResNet with a linear classifier trained using our approach is able to outperform state-of-the-art techniques across industrial, medical and audio datasets improving accuracy over 10% in ECG periodic data. We further demonstrate that our self-supervised representations are more efficient in the latent space, improving multiple clustering indexes and that fine-tuning our method on 10% of labels achieves results competitive to fully-supervised learning.

研究动机与目标

• 为解决时间序列自监督学习中有效数据增强设计的挑战，因标准图像增强方法不适用于时间序列数据。
• 开发一种与任务无关的表示学习框架，利用神经过程进行预测，通过对比学习实现表示对齐。
• 提升潜在空间中的表示质量，以支持更好的聚类和下游迁移学习。
• 证明结合对比损失与神经过程预测的框架可在多样化的真实世界时间序列基准上超越现有自监督方法。

提出的方法

• 该方法利用神经过程通过应用不同的采样函数，为同一时间序列生成多个视图，从而在无需人工设计的情况下实现数据增强。
• 引入双目标损失：对比损失用于最小化正样本视图之间的距离并最大化与负样本视图的距离，回归损失用于提升预测性能。
• 采用上下文外采样以增强正则化效果，提升生成增强的质量。
• 框架通过对比损失端到端训练，以鼓励潜在空间中解耦且与类别相关的表示。
• 可兼容任意神经网络架构（如ResNet）用于下游分类任务。
• 该方法对数据模态无感，尤其适用于多变量、不平衡的时间序列数据。

实验结果

研究问题

• RQ1 基于神经过程的自监督学习框架是否能在不依赖手工设计变换的情况下，为时间序列数据生成有效的数据增强？
• RQ2 将对比学习与神经过程预测相结合，相较于现有方法，如何提升潜在空间中的表示质量？
• RQ3 所提出方法在医疗、工业监测和音频等多样化时间序列应用中的泛化能力如何？
• RQ4 所学习的表示是否能仅使用少量标注数据即达到与全监督学习相当的性能？
• RQ5 与最先进自监督基线相比，该方法在聚类质量与表示解耦程度方面表现如何？

主要发现

• ContrNP在心房颤动（AFDB）数据集上优于所有自监督基线，线性分类器准确率达到94.2%，较次优方法（SimCLR，82.3%）提升10.6%。
• 在ECG周期性数据上，ContrNP相比最先进方法准确率提升超过10%，展现出在具有挑战性的医疗时间序列数据上的强劲性能。
• ContrNP实现更优的聚类性能，在AFDB数据集上轮廓系数达0.36 ± 0.07，在Urban8K数据集上Davies–Bouldin指数为0.89 ± 0.15，优于所有基线。
• 仅使用10%标签进行微调即可获得与全监督学习相当的结果，尤其在Urban8K音频数据集上准确率达95.4%。
• t-SNE可视化显示，潜在空间中的表示具有更清晰的分离性，表明解耦性与类别分离性得到显著提升。
• ContrNP在工业、医疗和音频时间序列数据集上均达到最先进水平，展现出广泛的适用性与鲁棒性。