[論文レビュー] SleepPriorCL: Contrastive Representation Learning with Prior Knowledge-based Positive Mining and Adaptive Temperature for Sleep Staging

Hongjun Zhang, Jing Wang+3 more|arXiv (Cornell University)|Oct 15, 2021

EEG and Brain-Computer Interfaces参考文献 31被引用数 4

ひとこと要約

本稿では、睡眠ステージ分類のための自己教師付き対照的学習手法 SleepPriorCL を提案する。この手法は、ドメイン知識を活用して意味的に類似した陽性サンプルを抽出し、表現学習を向上させるために動的温度メカニズムを導入する。提案手法は、限られたラベル付きデータでも最先端の性能を達成し、従来の自己教師付き学習および教師ありベースラインを上回る。

ABSTRACT

The objective of this paper is to learn semantic representations for sleep stage classification from raw physiological time series. Although supervised methods have gained remarkable performance, they are limited in clinical situations due to the requirement of fully labeled data. Self-supervised learning (SSL) based on contrasting semantically similar (positive) and dissimilar (negative) pairs of samples have achieved promising success. However, existing SSL methods suffer the problem that many semantically similar positives are still uncovered and even treated as negatives. In this paper, we propose a novel SSL approach named SleepPriorCL to alleviate the above problem. Advances of our approach over existing SSL methods are two-fold: 1) by incorporating prior domain knowledge into the training regime of SSL, more semantically similar positives are discovered without accessing ground-truth labels; 2) via investigating the influence of the temperature in contrastive loss, an adaptive temperature mechanism for each sample according to prior domain knowledge is further proposed, leading to better performance. Extensive experiments demonstrate that our method achieves state-of-the-art performance and consistently outperforms baselines.

研究の動機と目的

• 自己教師付き対照的学習におけるサンプリングバイアスを是正すること。特に、データ拡張や時間的近傍に依存するため、意味的に類似した陽性サンプルが見逃されがちな問題に焦点を当てる。
• 真のラベルに依存せずに、誤った陽性サンプルが含まれることによる性能低下を軽減すること。
• 専門家知識を陽性サンプル抽出に統合し、動的温度により勾配ペナルティの強度を調整することで、表現学習を向上させること。
• 臨床的ラベル付け負荷を軽減するため、ラベル付きデータを最小限に抑えつつ、生のEEG信号のみを用いて高精度な睡眠ステージ分類を実現すること。

提案手法

• 手作業で設計された特徴量（例：パワースペクトル密度、微分エントロピーなど）に基づき、データ拡張や時間的近傍に依存せず、上位K個の類似度が高いサンプルを検索するドメイン知識に基づく陽性サンプル抽出戦略を導入する。
• 1つのアーキテクチャに対して複数の陽性サンプルを用いる対照的学習を定式化し、単一の拡張ビューではなく、特徴量の類似度に基づいて陽性セットを構築する。
• 各サンプルの類似度の信頼度に基づいて、温度ハイパーパrameterを設定する動的温度メカニズムを提案する。信頼度が高いサンプルは損失関数においてより高い重みをもつ。
• 特徴量類似度に基づく可学習関数を用いて、温度を動的に調整し、勾配ペナルティの強度を制御することで、モデル最適化を改善する。
• 標準的な対照的損失（例：InfoNCE）を用いるが、各サンプルごとに温度スケジューリングを変更することで、信頼性の高い陽性サンプルを強調し、ノイズの影響を低減する。
• 線形評価プロトコルおよび限られたラベル付きデータを用いた微調整評価により、本手法のロバスト性と一般化性能を実証する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが不要な状況下で、ドメイン知識を活用した陽性サンプル抽出が、自己教師付き対照的学習における睡眠ステージ分類の性能向上に寄与するか？
• RQ2 陽性サンプル抽出に特徴量類似度を用いることで、従来のデータ拡張や時間的近傍戦略と比較して、表現品質がどのように向上するか？
• RQ3 各サンプルごとに変化する動的温度メカニズムが、信頼度に基づいて勾配ペナルティの強度を調整することで、モデル性能を向上させるか？
• RQ4 限られたラベル付きデータ（例：1%）しか利用できない状況下で、SleepPriorCLで事前学習されたモデルが、教師ありベースラインを上回るか、同等の性能を達成できるか？
• RQ5 ハイパーパrameter（例：取得する陽性サンプル数K、温度の下限・上限τ_min, τ_max）の変更に対して、本手法の性能がどれほど感度を示すか？

主な発見

• SleepPriorCL は、3つのベンチマークデータセット（Sleep-EDF39：76.44±0.83%の正確度、65.56±1.32%のF1スコア；Sleep-EDF153：78.11±0.43%の正確度、63.60±0.80%のF1スコア；MASS-SS3：80.40±0.26%の正確度、70.60±0.75%のF1スコア）で最先端の性能を達成した。
• SimCLR、DCL、CPC、TNC、T-Loss といった従来の自己教師付き学習ベースラインと比較して、顕著に優れた性能を示し、ドメイン知識に基づく陽性サンプル抽出の有効性を裏付けた。
• ラベル付きデータをたった1%に制限した状況でも、SleepPriorCLで事前学習されたエンコーダーは、同じ小規模なラベル付きデータセットで学習した教師ありモデルを上回る正確度を達成した。これは、本手法のデータ効率性を示している。
• アブレーションスタディの結果、ドメイン知識に基づくサンプル抽出と動的温度メカニズムの両方が性能向上に寄与しており、完全な手法（Basic+Feature+Adaptive）が最も優れた結果をもたらした。
• 感度分析の結果、K値（0.1 ≤ R ≤ 0.4）や温度の範囲に対して性能が安定しており、ハイパーパrameterの選択に対して頑健であることが示された。
• 動的温度メカニズムは、固定温度ベースラインを常に上回る性能を示し、特にドメイン知識に基づく抽出と組み合わせた場合に、誤った陽性サンプルの影響を効果的に軽減する役割を果たしていることが確認された。