[論文レビュー] DeepSleepNet-Lite: A Simplified Automatic Sleep Stage Scoring Model with Uncertainty Estimates

Luigi Fiorillo, Paolo Favaro+1 more|arXiv (Cornell University)|Aug 24, 2021

EEG and Brain-Computer Interfaces参考文献 52被引用数 106

ひとこと要約

DeepSleepNet-Liteは、単一チャネルEEGを用いた軽量な睡眠ステージングモデルであり、簡素化された順方向型CNNアーキテクチャを採用し、90秒間のシーケンスのみを処理する。推論時にモンテカルロドロップアウトを活用して予測の不確実性を推定し、不確実な予測を除外することで性能を向上させる。Sleep-EDF v1-2013で最大86.1%の正解率および0.81のCohenの kappa を達成した。

ABSTRACT

Deep learning is widely used in the most recent automatic sleep scoring algorithms. Its popularity stems from its excellent performance and from its ability to directly process raw signals and to learn feature from the data. Most of the existing scoring algorithms exploit very computationally demanding architectures, due to their high number of training parameters, and process lengthy time sequences in input (up to 12 minutes). Only few of these architectures provide an estimate of the model uncertainty. In this study we propose DeepSleepNet-Lite, a simplified and lightweight scoring architecture, processing only 90-seconds EEG input sequences. We exploit, for the first time in sleep scoring, the Monte Carlo dropout technique to enhance the performance of the architecture and to also detect the uncertain instances. The evaluation is performed on a single-channel EEG Fpz-Cz from the open source Sleep-EDF expanded database. DeepSleepNet-Lite achieves slightly lower performance, if not on par, compared to the existing state-of-the-art architectures, in overall accuracy, macro F1-score and Cohen's kappa (on Sleep-EDF v1-2013 +/-30mins: 84.0%, 78.0%, 0.78; on Sleep-EDF v2-2018 +/-30mins: 80.3%, 75.2%, 0.73). Monte Carlo dropout enables the estimate of the uncertain predictions. By rejecting the uncertain instances, the model achieves higher performance on both versions of the database (on Sleep-EDF v1-2013 +/-30mins: 86.1.0%, 79.6%, 0.81; on Sleep-EDF v2-2018 +/-30mins: 82.3%, 76.7%, 0.76). Our lighter sleep scoring approach paves the way to the application of scoring algorithms for sleep analysis in real-time.

研究の動機と目的

• 計算負荷を低減する簡素化された軽量なディープラーニングモデルを自動睡眠ステージング用に開発すること。
• 90秒間のEEGシーケンスのみを処理することで、リアルタイムおよびホームモニタリング応用を可能にすること。
• 追加のアーキテクチャ的変更やトレーニングのオーバーヘッドなしに、推論時にモデルの不確実性を推定すること。
• 不確実性推定値を用いて不確実な予測を除外することで、モデルの頑健性と性能を向上させること。

提案手法

• 時間的および周波数的パターンを捉えるために、小さなフィルタと大きなフィルタを用いた2つの並列ブランチを持つ簡素化された順方向型CNNを採用。
• 入力長を従来のモデルと比較して短縮するため、90秒間の単一チャネルEEG（Fpz-Cz）シーケンスを処理。
• 複数回の順方向パスを実行することで、推論時にモンテカルロドロップアウトを適用し、予測の不確実性を推定。
• 事前知識から導出された条件付き確率分布を用いたラベルスムージングを実装し、モデルのキャリブレーションを向上。
• 不確実な予測を特定・除外するクエリ手順を実装し、残りのサンプルにおける性能を向上。
• バッチ正規化とReLU活性化関数を用いてモデルをトレーニングし、パラメータ数を最小限に抑えて、小規模データセットにおける過学習を低減。

実験結果

リサーチクエスチョン

• RQ1 軽量で90秒間の入力アーキテクチャは、睡眠ステージング分野における最先端のモデルと同等の性能を達成できるか？
• RQ2 アーキテクチャの変更なしに、モンテカルロドロップアウトが信頼性のある不確実性推定を提供できるか？
• RQ3 不確実な予測を除外することで、睡眠ステージングにおける全体の正解率およびF1スコアが向上するか？
• RQ4 事前知識を用いたラベルスムージングは、モデルのキャリブレーションおよび性能にどのように影響するか？
• RQ5 極めて少ないパラメータ数の最小限のアーキテクチャは、小規模データセットにおいて過学習を避けながらも、十分に一般化できるか？

主な発見

• Sleep-EDF v1-2013（±30分）において、DeepSleepNet-Liteは84.0%の正解率、78.0%のマクロF1スコア、0.78のCohenのkappaを達成し、最先端の性能と同等であった。
• モンテカルロドロップアウトを用いて不確実な予測を除外した後、Sleep-EDF v1-2013では正解率が86.1%、マクロF1スコアが79.6%、kappaが0.81に向上した。
• Sleep-EDF v2-2018では、全体で80.3%の正解率および0.73のkappaを達成し、不確実性の除外後は正解率が82.3%、kappaが0.76に向上した。
• 不確実性推定手順は、特に頻繁に誤分類されるN1およびN3の睡眠ステージを効果的に特定した。
• 事前知識を用いたラベルスムージングはキャリブレーションを向上させたが、モンテカルロドロップアウトと組み合わせた場合、性能や不確実性推定の向上が一貫して見られなかった。
• モデルのパラメータ数（約0.6M）が少ないため、過学習に強く、リアルタイムおよびホームモニタリング用途に適している。