[論文レビュー] SalientSleepNet: Multimodal Salient Wave Detection Network for Sleep Staging

Ziyu Jia, Youfang Lin+4 more|arXiv (Cornell University)|May 24, 2021

EEG and Brain-Computer Interfaces参考文献 26被引用数 13

ひとこと要約

SalientSleepNet は、U²-Net を基盤としたアーキテクチャを活用して、多モodalな睡眠データ（EEG および EOG）における顕著な波動を検出するとともに、生の信号から直接に多次元スケールの睡眠遷移ルールを捉える、新しい深層学習モデルである。このモデルは、既存の深層学習モデルの中で最も少ないパラメータ数を有しながらも、最先端のスリーピングステージング性能を達成しており、EEG と EOG のモダリティ寄与度を適応的に重み付けるマルチモーダルアテンション機構を用いている。

ABSTRACT

Sleep staging is fundamental for sleep assessment and disease diagnosis. Although previous attempts to classify sleep stages have achieved high classification performance, several challenges remain open: 1) How to effectively extract salient waves in multimodal sleep data; 2) How to capture the multi-scale transition rules among sleep stages; 3) How to adaptively seize the key role of specific modality for sleep staging. To address these challenges, we propose SalientSleepNet, a multimodal salient wave detection network for sleep staging. Specifically, SalientSleepNet is a temporal fully convolutional network based on the $ m U^2$-Net architecture that is originally proposed for salient object detection in computer vision. It is mainly composed of two independent $ m U^2$-like streams to extract the salient features from multimodal data, respectively. Meanwhile, the multi-scale extraction module is designed to capture multi-scale transition rules among sleep stages. Besides, the multimodal attention module is proposed to adaptively capture valuable information from multimodal data for the specific sleep stage. Experiments on the two datasets demonstrate that SalientSleepNet outperforms the state-of-the-art baselines. It is worth noting that this model has the least amount of parameters compared with the existing deep neural network models.

研究の動機と目的

• 手作業による特徴量設計に依存せずに、多モーダルな睡眠信号から顕著な波動を効果的に抽出する課題に対処すること。
• RNN を使用しないフィードフォワードアーキテクチャを用いて、睡眠ステージ（N1, N2, N3, REM, W）間の多次元スケールの遷移ルールをモデル化すること。
• 異なる睡眠ステージにおいて変化する EEG と EOG モダリティの寄与度を適応的に捉え、分類精度を向上させること。

提案手法

• EEG および EOG 信号の両方に対して、独立に顕著な波動パターンを検出できるように、二重ストリームの U²-Net アーキテクチャを採用。
• ドーナツ型畳み込み（dilated convolutions）を用いた多次元抽出モジュールを導入し、睡眠ステージ間で長距離・中距離・短距離の遷移パターンを捉える。
• ターゲットとなる睡眠ステージに応じて、EEG と EOG フィーチャーの重要度を動的に重み付けるマルチモーダルアテンションモジュール（MMA）を採用。
• 多次元モジュールのボトルネック層を導入することで、パラメータ数を 16% 減少させつつ、性能に損なわれることなく実現。
• 時間周波数画像への変換を回避し、生の生理的信号を直接処理することで、信号の完全な情報を保持。
• 副次的なパラメータは付録に詳細記載。

実験結果

リサーチクエスチョン

• RQ1 U²-Net を基盤としたアーキテクチャは、生の EEG および EOG 信号において、睡眠スティンプルや K コンプレックス、デルタ波といった顕著な波動を効果的に検出できるか？
• RQ2 再帰的構成を用いないフィードフォワード畳み込みネットワークにおいて、短距離・中距離・長距離の多次元スケールの睡眠遷移ルールを効果的にモデル化できるか？
• RQ3 学習可能なアテンション機構は、各睡眠ステージにおいて最も情報量の多いモダリティ（EEG または EOG）を適応的に強調できるか？
• RQ4 提案されたアーキテクチャは、深層学習を用いた睡眠ステージングモデルの中で、最小のモデルサイズを維持しつつも最先端の性能を達成できるか？

主な発見

• SalientSleepNet は、2 つの公開データセットにおいて、すべての最先端ベースラインを上回る最高の全体精度と F1 スコアを達成した。
• 通常は代表度が低く、REM と類似しているために分類が難しい N1 ステージの F1 スコアも向上した。
• マルチモーダルアテンションモジュールにより、特に N1 と REM ステージの区別において、モダリティ寄与度の動的重み付けが性能向上に顕著に寄与した。
• モデルはたった 948,795 個のパラメータを有しており、ボトルネック層を導入しないバージョンと比較して 16% の削減が達成されており、本論文で報告された睡眠ステージング用の深層学習モデルの中で最小のモデルサイズである。
• 可視化により、SalientSleepNet が、N2 における睡眠スティンプル、N2 における K コンプレックス、N3 におけるデルタ波、N1 および REM ステージにおける遅い・速い眼球運動を的確に検出できていることが確認された。
• アブレーションスタディにより、U² 構造、多次元抽出、マルチモーダルアテンションの各モジュールが、性能向上に段階的に寄与していることが確認された。