[論文レビュー] Self-supervised Contrastive Representation Learning for Semi-supervised Time-Series Classification

Emadeldeen Eldele, Mohamed Ragab+5 more|arXiv (Cornell University)|Aug 13, 2022

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

本論文は、時系列特徴を保持する弱いおよび強い増幅を用いて、頑健な時間的・文脈的表現を学習する自己教師あり対照的学習フレームワークTS-TCCを提案する。さらに、偽ラベルを活用して少量のラベル付きデータでも性能を向上させる半教師あり学習向けにCA-TCCに拡張し、1%のラベル予算でも教師あり学習に近い性能を達成した。

ABSTRACT

Learning time-series representations when only unlabeled data or few labeled samples are available can be a challenging task. Recently, contrastive self-supervised learning has shown great improvement in extracting useful representations from unlabeled data via contrasting different augmented views of data. In this work, we propose a novel Time-Series representation learning framework via Temporal and Contextual Contrasting (TS-TCC) that learns representations from unlabeled data with contrastive learning. Specifically, we propose time-series-specific weak and strong augmentations and use their views to learn robust temporal relations in the proposed temporal contrasting module, besides learning discriminative representations by our proposed contextual contrasting module. Additionally, we conduct a systematic study of time-series data augmentation selection, which is a key part of contrastive learning. We also extend TS-TCC to the semi-supervised learning settings and propose a Class-Aware TS-TCC (CA-TCC) that benefits from the available few labeled data to further improve representations learned by TS-TCC. Specifically, we leverage the robust pseudo labels produced by TS-TCC to realize a class-aware contrastive loss. Extensive experiments show that the linear evaluation of the features learned by our proposed framework performs comparably with the fully supervised training. Additionally, our framework shows high efficiency in the few labeled data and transfer learning scenarios. The code is publicly available at \url{https://github.com/emadeldeen24/CA-TCC}.

研究の動機と目的

• 医療やIoTなどの実世界の応用におけるラベル付き時系列データの限界を解決すること。
• 対照的学習を用いてラベルなし時系列データから判別可能な表現を学習する自己教師ありフレームワークの開発。
• 時間的構造を保持しつつ、効果的な対照的学習を可能にする時系列特有のデータ増幅の設計。
• クラスに配慮した対照的損失を用いて、少数のラベル付きサンプルを統合することで、自己教師ありフレームワークを半教師あり学習に拡張すること。
• 低ラベルおよび転移学習設定下での学習表現の転送可能性と効率性の向上。

提案手法

• ラベルなし時系列データを対象とした時間的および文脈的対照モジュールを備えた対照的表現学習フレームワークTS-TCCを提案する。
• 時間的依存性を保持しつつ、効果的な対照的学習を可能にする、時系列特有の弱い増幅（例：スケーリング、時間シフト）と強い増幅（例：ジャイタ、順列変更）を設計する。
• 弱いおよび強い増幅ビューを対照することで、頑健な時間的表現を学習する時間的対照モジュールを実装する。
• 同じサンプルの異なる増幅ビューを対照することで、判別可能な表現を学習する文脈的対照モジュールを導入する。
• TS-TCCから得られる頑健な偽ラベルを用いて、半教師あり設定におけるクラスに配慮した対照的損失を学習するフレームワークをCA-TCCとしてTS-TCCに拡張する。
• 時系列信号を0から1の範囲に正規化することで、データセット間での増幅パラメータの標準化を図り、一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 異なるデータ増幅戦略が、時系列表現学習における対照的学習の性能に与える影響は何か？
• RQ2 自己教師あり対照的フレームワークは、最小限のラベル付きデータで完全に教師あり学習と同等の性能を達成できるか？
• RQ3 自己教師ありモデルから得た偽ラベルを、半教師あり設定で効果的に活用することで、表現学習の性能を向上させられるか？
• RQ4 多様なデータセットにわたる時系列対照的学習において、弱いおよび強い増幅の最適な設定は何か？
• RQ5 学習された表現は、転移学習および低ラベル状況においてどの程度一般化可能か？

主な発見

• 弱い増幅を1つのビュー、強い増幅をもう1つのビューに適用したTS-TCCは、77.58%の線形評価精度を達成し、弱い増幅のみまたは強い増幅のみを用いた設定を上回った。
• ラベル付きデータを10%に制限した場合でも、TS-TCCの特徴量に対する線形プローブは、完全に教師あり学習と同等の性能を示した。
• CA-TCCはわずか1%のラベル付きデータで性能をさらに向上させ、低教師あり状況下でも優れた一般化性能を示した。
• ジャイタを時間シフトやスケーリングの弱い増幅として適用し、強い増幅（例：ジャイタ＋順列変更）を組み合わせた場合、それぞれ74.69%および72.35%の精度を達成した。
• 体系的なアブレーションスタディにより、異なるビューに弱いおよび強い増幅を組み合わせることで最良の性能が得られ、最適なパラメータとして弱い増幅では[0, 0.1]、強い増幅では[0.1, 1]の範囲でのジャイタが最適であることが確認された。
• このフレームワークは強力な転送可能性を示し、複数の時系列データセットにおいて転移学習のシナリオで性能向上を達成した。