[論文レビュー] SimPer: Simple Self-Supervised Learning of Periodic Targets

Yuzhe Yang, Xin Liu+5 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Chemical Sensor Technologies被引用数 20

ひとこと要約

SimPer は、時間的自己対照学習、周期的特徴類似性、一般化された連続ターゲット損失を用いて、複数の実世界データセットを横断する周期性を捉える、単純な自己教師付きフレームワークです。

ABSTRACT

From human physiology to environmental evolution, important processes in nature often exhibit meaningful and strong periodic or quasi-periodic changes. Due to their inherent label scarcity, learning useful representations for periodic tasks with limited or no supervision is of great benefit. Yet, existing self-supervised learning (SSL) methods overlook the intrinsic periodicity in data, and fail to learn representations that capture periodic or frequency attributes. In this paper, we present SimPer, a simple contrastive SSL regime for learning periodic information in data. To exploit the periodic inductive bias, SimPer introduces customized augmentations, feature similarity measures, and a generalized contrastive loss for learning efficient and robust periodic representations. Extensive experiments on common real-world tasks in human behavior analysis, environmental sensing, and healthcare domains verify the superior performance of SimPer compared to state-of-the-art SSL methods, highlighting its intriguing properties including better data efficiency, robustness to spurious correlations, and generalization to distribution shifts. Code and data are available at: https://github.com/YyzHarry/SimPer.

研究の動機と目的

• 周期学習タスクにおける既存の SSL 手法の限界を特定する。
• 周期的帰納的バイアスを活用するシンプルな SSL フレームワークを設計する。
• 堅牢性・効率性・転用性を示すために、異なるドメインで SimPer を評価する。

提案手法

• 同一入力から周波数シフトされたネガティブを作成するために、周期性変異の拡張を導入する。
• 同じ入力の複数の正のビューを作成するために、周期性不変の拡張を用いる。
• 周期的特徴類似度指標（例：MXCorr、nPSD）を用いて周期表現を比較する。
• InfoNCE 損失を連続ターゲット版に一般化（SimPer 損失）して、周波数ラベルの類似性でペアに重みを付ける。
• 共有エンコーダで訓練し、拡張ビューに対して SimPer 損失を最適化する。
• 6つの多様なデータセットを横断して、最先端の SSL 手法および教師あり学習と比較評価する。

実験結果

リサーチクエスチョン

• RQ1 SSL 手法はラベルなしで周期的または準周期的なダイナミクスを効果的に捉えられるか。
• RQ2 周波数認識を持つ拡張と類似度測度は、周期ターゲットに対する学習表現を改善するか。
• RQ3 データ効率の良い設定、転移シナリオ、分布シフトや未知ターゲット下での SimPer の性能はどうか。

主な発見

• SimPer は6つの多様な周期タスクで一貫して最先端の SSL 手法を上回る。
• 基準法と比較してデータ効率と偽相関への頑健性が向上している。
• データセット間で転移可能な周期表現を示し、未知の周波数へのゼロショット一般化がより良い。
• 一般化された連続ターゲット損失は、複数タスクで従来の InfoNCE より性能を改善する。）