[論文レビュー] Towards Sleep Scoring Generalization Through Self-Supervised Meta-Learning

Abdelhak Lemkhenter, Paolo Favaro|arXiv (Cornell University)|Jul 27, 2022

Obstructive Sleep Apnea Research被引用数 5

ひとこと要約

本稿では、自己教師あり事前学習をモデルに依存しないメタラーニング（MAML）パラダイムに統合することで、自動睡眠スコアリングにおけるゼロショット一般化を向上させる自己教師ありメタラーニングフレームワークS2MAMLを提案する。この手法は、複数のデータセットでMAMLおよび教師あり学習を著しく上回り、汎用的擬似タスクを通じて被験者固有のパターンへの過剰適合を低減させることで、最先端のゼロショット性能を達成する。

ABSTRACT

In this work we introduce a novel meta-learning method for sleep scoring based on self-supervised learning. Our approach aims at building models for sleep scoring that can generalize across different patients and recording facilities, but do not require a further adaptation step to the target data. Towards this goal, we build our method on top of the Model Agnostic Meta-Learning (MAML) framework by incorporating a self-supervised learning (SSL) stage, and call it S2MAML. We show that S2MAML can significantly outperform MAML. The gain in performance comes from the SSL stage, which we base on a general purpose pseudo-task that limits the overfitting to the subject-specific patterns present in the training dataset. We show that S2MAML outperforms standard supervised learning and MAML on the SC, ST, ISRUC, UCD and CAP datasets.

研究の動機と目的

• 新しい被験者や記録施設において自動睡眠スコアリングモデルの一般化性能が著しく低いという重要な課題に対処すること。
• 新データにモデルを展開する際のファインチューニングや追加のアノテーションの必要性を排除し、真のゼロショット展開を可能にすること。
• 転移学習の場面で性能を低下させる被験者固有およびデータセット固有の信号パターンへの過剰適合を低減すること。
• 特定のアーキテクチャに限定されない、任意のバックボーンモデルと互換性のあるトレーニング方式を開発すること。
• メタラーニング内での自己教師あり事前学習が、睡眠ステージングにおける頑健性と一般化性能を向上させることを示すこと。

提案手法

• 自己教師あり学習（SSL）をMAMLフレームワークに統合し、S2MAML（自己教師ありメタラーニング）と呼ばれる新しい手法を構築する。
• 内側ループにおけるMAMLで、被験者固有の特徴への過剰適合を低減するために、無ラベルデータ上で一般化可能な擬似タスク「PhaseSwap」を用いて事前学習を行う。
• SSL事前学習と教師ありファインチューニングの両方を組み合わせたメタ損失関数を用い、ハイパーパrameter λin を用いて両者のバランスを調整するMAML最適化プロセスを適用する。
• 複数のデータセットでモデルを訓練し、メタ最適化により、未観測の被験者やデータセットに対しても一般化できる初期化パラメータを学習する。
• 標準的な睡眠ステージングバックボーン（DeepSleepNet-Lite）を用い、その特徴抽出部にS2MAMLを適用することで、一般化性能の向上を図る。
• 5つの公開データセット（ISRUC、SC、ST、CAP、UCD）を用いた交差検証により、未観測の被験者およびデータセットにおけるゼロショット性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、新しい被験者やデータセットに対してメタラーニングされた睡眠スコアリングモデルのゼロショット一般化性能を向上させることができるか？
• RQ2 MAMLの内側ループに汎用的擬似タスクを組み込むことで、被験者固有の信号パターンへの過剰適合が低減するか？
• RQ3 S2MAMLは、標準的な教師あり学習およびMAMLと比較して、未観測データにおける性能で優れているか？
• RQ4 特に内側ループにおけるSSLと教師あり学習のバランスを制御するハイパーパrameter λin に対して、提案手法は頑健性を示すか？
• RQ5 追加の適応やアノテーションを必要とせずに、S2MAMLはゼロショット睡眠スコアリングで最先端の性能を達成できるか？

主な発見

• 3対5の交差検証設定において、S2MAMLはすべてのデータセットで未観測被験者に対して平均F1スコア65.9％を達成し、MAML（27.2％）および教師あり学習（29.4％）を著しく上回った。
• 未観測データセットでは、S2MAMLはCAPで60.0％、STで70.2％、ISRUCで67.4％のF1スコアを達成し、MAMLおよび教師ありベースラインを大きく上回った。
• λin = 10^-3 におけるMAMLの性能は急激に低下し、未観測被験者で13.2％まで低下したが、S2MAMLはλinの値にかかわらず安定した性能を示し、より高い頑健性を示した。
• S2MAMLは、観測済み被験者（平均F1スコア71.0％）および未観測被験者（平均F1スコア65.9％）の両方で高い性能を維持しており、被験者内およびデータセット間の変動に対する強力な一般化能力を示した。
• 内側ループでPhaseSwapを自己教師ありタスクとして用いることで、被験者固有の特徴への過剰適合が低減され、未観測データでの性能向上が裏付けられた。
• S2MAMLは、評価されたすべてのデータセットで最先端のゼロショット性能を達成し、さらなる適応なしに実世界の展開環境でも有効であることが示された。