[論文レビュー] Contrastive Neural Processes for Self-Supervised Learning

Konstantinos Kallidromitis, Denis Gudovskiy+3 more|arXiv (Cornell University)|Oct 24, 2021

Music and Audio Processing参考文献 34被引用数 4

ひとこと要約

本論文は、時系列予測にニューラルプロセスを組み合わせ、対照学習を用いて手動での増幅設計なしにデータ拡張表現を生成する自己教師あり学習フレームワーク、対照的ニューラルプロセス（ContrNP）を提案する。工業的、医療的、音声データセットにおいて最先端の性能を達成し、心電図データでは10%以上の精度向上を達成し、ラベル付きデータを10%のみ使用しても完全に教師あり学習に匹敵する性能を示す。

ABSTRACT

Recent contrastive methods show significant improvement in self-supervised learning in several domains. In particular, contrastive methods are most effective where data augmentation can be easily constructed e.g. in computer vision. However, they are less successful in domains without established data transformations such as time series data. In this paper, we propose a novel self-supervised learning framework that combines contrastive learning with neural processes. It relies on recent advances in neural processes to perform time series forecasting. This allows to generate augmented versions of data by employing a set of various sampling functions and, hence, avoid manually designed augmentations. We extend conventional neural processes and propose a new contrastive loss to learn times series representations in a self-supervised setup. Therefore, unlike previous self-supervised methods, our augmentation pipeline is task-agnostic, enabling our method to perform well across various applications. In particular, a ResNet with a linear classifier trained using our approach is able to outperform state-of-the-art techniques across industrial, medical and audio datasets improving accuracy over 10% in ECG periodic data. We further demonstrate that our self-supervised representations are more efficient in the latent space, improving multiple clustering indexes and that fine-tuning our method on 10% of labels achieves results competitive to fully-supervised learning.

研究の動機と目的

• 時系列自己教師あり学習における有効なデータ増幅の設計という課題に取り組むこと。標準的な画像ベースの増幅手法は適用できない。
• 予測にニューラルプロセスを活用し、表現の整合性に対照学習を用いる、タスクに依存しない表現学習フレームワークを開発すること。
• 潜在空間における表現品質の向上を図り、より良いクラスタリングおよび下流の転移学習を可能にすること。
• 対照損失とニューラルプロセス予測を組み合わせることで、多様な現実世界の時系列ベンチマークで既存の自己教師あり手法を上回ることを実証すること。

提案手法

• 本手法は、異なるサンプリング関数を適用することで、同じ時系列データから複数のビューを生成し、手動での設計なしにデータ増幅を実現するニューラルプロセスを用いる。
• 二重の目的損失を導入する：正例同士の距離を最小化し、負例との距離を最大化する対照損失と、予測性能を向上させる回帰損失。
• 文脈外サンプリングを採用することで正則化を強化し、生成される増幅の品質を向上させる。
• 潜在空間における分離された、クラスに敏感な表現を促進する対照損失を用いて、エンドツーエンドでフレームワークを訓練する。
• ResNetなどの任意のニューラルネットワークアーキテクチャと互換性があり、下流の分類に利用可能である。
• データモダリティに依存せず、多次元的かつ不均衡な時系列データに対して特に効果的である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルプロセスに基づく自己教師あり学習フレームワークは、時系列データにおいて手作業による変換に依存せずに、効果的なデータ増幅を生成できるか？
• RQ2 対照学習とニューラルプロセス予測を組み合わせることで、既存の手法と比較して潜在空間における表現品質はどのように向上するか？
• RQ3 提案手法は、医療、産業監視、音声など多様な時系列応用分野にどの程度一般化可能か？
• RQ4 学習済み表現は、ラベル付きデータのわずかな割合（たとえば10%）のみで、完全に教師あり学習に匹敵する性能を達成できるか？
• RQ5 最先端の自己教師ありベースラインと比較して、クラスタリング品質および表現の分離性の観点から、本手法はどの程度優れているか？

主な発見

• Atrial Fibrillation（AFDB）データセットでは、すべての自己教師ありベースラインを上回り、線形分類器を用いて94.2%の精度を達成。次に良い手法（SimCLR）の82.3%と比較して10.6%の向上を示した。
• ECGの周期的データでは、最先端の手法と比較して10%以上の精度向上を達成し、挑戦的な医療時系列データでも優れた性能を示した。
• クラスタリング性能も優れており、AFDBではシリアルスコア0.36 ± 0.07、Urban8KではDavies–Bouldin指数0.89 ± 0.15を達成し、すべてのベースラインを上回った。
• ラベルの10%でのファインチューニングでも、完全に教師あり学習に匹敵する結果を示した。特にUrban8K音声データセットでは95.4%の精度に達した。
• t-SNE可視化により、潜在空間における表現のより良い分離が確認され、改善された分離性とクラス分離性を示している。
• 工業的、医療的、音声時系列データセットのあらゆる分野で最先端の結果を達成し、広範な適用可能性と頑健性を示した。