[論文レビュー] A Deep Knowledge Distillation framework for EEG assisted enhancement of single-lead ECG based sleep staging

Vaibhav Joshi, Sricharan Vijayarangan+2 more|arXiv (Cornell University)|Dec 14, 2021

EEG and Brain-Computer Interfaces被引用数 5

ひとこと要約

本論文は、応答ベースおよび特徴ベースの distillation を用いて、EEG から単一誘導 ECG へ睡眠ステージングの知識を転送するクロスモodalな知識蒸留フレームワークを提案する。この手法により、ECG を用いた睡眠ステージングの精度が顕著に向上し、ベースラインの ECG モデルと比較して、4段階ステージングでは加重F1スコアが14.3％相対的に向上（0.61に）、3段階ステージングでは13.4％（0.66に）向上した。これは、不顕在な睡眠モニタリングを向上させるために KD を活用する可能性を示している。

ABSTRACT

Automatic Sleep Staging study is presently done with the help of Electroencephalogram (EEG) signals. Recently, Deep Learning (DL) based approaches have enabled significant progress in this area, allowing for near-human accuracy in automated sleep staging. However, EEG based sleep staging requires an extensive as well as an expensive clinical setup. Moreover, the requirement of an expert for setup and the added inconvenience to the subject under study renders it unfavourable in a point of care context. Electrocardiogram (ECG), an unobtrusive alternative to EEG, is more suitable, but its performance, unsurprisingly, remains sub-par compared to EEG-based sleep staging. Naturally, it would be helpful to transfer knowledge from EEG to ECG, ultimately enhancing the model's performance on ECG based inputs. Knowledge Distillation (KD) is a renowned concept in DL that looks to transfer knowledge from a better but potentially more cumbersome teacher model to a compact student model. Building on this concept, we propose a cross-modal KD framework to improve ECG-based sleep staging performance with assistance from features learned through models trained on EEG. Additionally, we also conducted multiple experiments on the individual components of the proposed model to get better insight into the distillation approach. Data of 200 subjects from the Montreal Archive of Sleep Studies (MASS) was utilized for our study. The proposed model showed a 14.3\% and 13.4\% increase in weighted-F1-score in 4-class and 3-class sleep staging, respectively. This demonstrates the viability of KD for performance improvement of single-channel ECG based sleep staging in 4-class(W-L-D-R) and 3-class(W-N-R) classification.

研究の動機と目的

• 単一誘導 ECG を用いた睡眠ステージングの精度が EEG を用いた手法に比べて低いという課題に対処すること。
• マルチセンサの推論を必要とせずに、EEG から ECG へ知識を転送する手段として知識蒸留を検討すること。
• 単一モodalな推論を維持しつつ、ECG を用いた睡眠ステージングの性能を向上させるクロスモダリティ蒸留フレームワークを開発すること。
• 個々の蒸留コンponents（応答ベース、アテンションベース、対照的学習）がモデル性能に与える寄与を評価すること。
• ボトルネック層における特徴表現を分析し、性能向上の背後にあるメカニズムを理解すること。

提案手法

• 教師モデルは、高レベルの睡眠ステージ表現を学習するために EEG 信号で訓練される。
• 生徒モデルは単一誘導 ECG データで訓練され、教師のソフトマップ出力（ソフトラベル）から応答ベースの蒸留（ソフトマップ層からの蒸留）により知識が転送される。
• 中間特徴マップからの知識を転送するために、アテンションベースの蒸留が適用される。
• ボトルネック層における ECG と EEG 特徴の潜在表現を整列させるために、対照的学習（CL）が用いられる。
• 完全なフレームワークは、応答ベースの蒸留（SD）、アテンションベースの蒸留（AT）、対照的学習（CL）を組み合わせ、共同最適化が行われる。
• モデルは MASS データセットの200名の被験者に対してエンドツーエンドで訓練され、デプロイ時には ECG のみを用いた推論が実行される。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、推論時に EEG を必要とせずに、EEG から単一誘導 ECG へ睡眠ステージングの知識を効果的に転送できるか？
• RQ2 個々のコンponents（応答ベースの蒸留、アテンション蒸留、対照的学習）は、ECG を用いた睡眠ステージングの性能向上にどのように寄与しているか？
• RQ3 複数の蒸留モードを組み合わせることで、個々のモードよりも高い性能が得られるか、あるいは干渉を引き起こすか？
• RQ4 ボトルネック層における学習済み特徴は、正しく予測された場合と誤って予測された場合でどのように異なるか？ これは特徴の質について何を示唆するか？
• RQ5 クラスの不均衡は蒸留性能にどの程度影響を及ぼすか？ また、フレームワークは不均衡な睡眠ステージ分布に対してどれほど頑健か？

主な発見

• 提案された AT+SD+CL 蒸留フレームワークは、4段階ステージング（W-L-D-R）において、加重F1スコアが14.3％相対的に向上（0.45から0.51に）した。
• 3段階ステージング（W-N-R）においては、最良のアブレーション（AT+CL）が加重F1スコアを13.4％相対的に向上（0.58から0.66に）した。
• SD+CL 法は、4段階ステージングにおける軽度睡眠（L）ステージで最も高い向上を示し、F1スコアを0.47から0.61に向上させた。
• AT+CL 法は、3段階ステージングにおける NREM（N）ステージで最も高い向上を示し、F1スコアを0.65から0.77に向上させた。
• 完全な AT+SD+CL モデルは、すべてのクラスにおいて比較的バランスの取れた性能を示し、クラスの不均衡に対して頑健であることがわかった。
• 特徴可視化の結果、成功した蒸留はより判別力のあるボトルネック特徴をもたらす一方、失敗事例ではクラスの不均衡や最適でない蒸留により、特徴が一致しないことが明らかになった。