[論文レビュー] Combining Generative and Discriminative Neural Networks for Sleep Stages Classification

Endang Purnama Giri, Mohamad Ivan Fanany+1 more|arXiv (Cornell University)|Oct 6, 2016

EEG and Brain-Computer Interfaces参考文献 7被引用数 12

ひとこと要約

本稿では、階層的特徴抽出に深層信念ネットワーク（DBN）と時系列モデリングに長短期記憶（LSTM）ネットワークを組み合わせたハイブリッドディープラーニングモデルを提案し、睡眠ステージ分類の精度を向上させている。本手法はベンチマークデータセットで98.75%の精度を達成し、独自に収集したMKGデータセットでは98.94%に達し、先行研究の最良手法（91.31%）を上回っている。EEG、EOG、EMG信号の時間的パターンを活用し、手作業で作成した特徴量を入力として用いることで実現された。

ABSTRACT

Sleep stages pattern provides important clues in diagnosing the presence of sleep disorder. By analyzing sleep stages pattern and extracting its features from EEG, EOG, and EMG signals, we can classify sleep stages. This study presents a novel classification model for predicting sleep stages with a high accuracy. The main idea is to combine the generative capability of Deep Belief Network (DBN) with a discriminative ability and sequence pattern recognizing capability of Long Short-term Memory (LSTM). We use DBN that is treated as an automatic higher level features generator. The input to DBN is 28 "handcrafted" features as used in previous sleep stages studies. We compared our method with other techniques which combined DBN with Hidden Markov Model (HMM).In this study, we exploit the sequence or time series characteristics of sleep dataset. To the best of our knowledge, most of the present sleep analysis from polysomnogram relies only on single instanced label (nonsequence) for classification. In this study, we used two datasets: an open data set that is treated as a benchmark; the other dataset is our sleep stages dataset (available for download) to verify the results further. Our experiments showed that the combination of DBN with LSTM gives better overall accuracy 98.75\% (Fscore=0.9875) for benchmark dataset and 98.94\% (Fscore=0.9894) for MKG dataset. This result is better than the state of the art of sleep stages classification that was 91.31\%.

研究の動機と目的

• 生成的および判別的ディープラーニングモデルを統合することで、睡眠ステージ分類の精度を向上させること。
• 従来の手法が睡眠ステージを独立したインスタンスとして扱うのに対し、時系列としての性質を考慮する限界を是正すること。
• ベンチマークおよび独自の睡眠データセットの両方において、ハイブリッドDBN-LSTMアーキテクチャの性能を評価すること。
• 提案手法を先行の最先端手法、特にDBN-HMMおよび他のハイブリッドモデルと比較すること。
• 高精度な睡眠ステージ分類に向け、手作業で作成した特徴量をディープラーニングと組み合わせる可能性を検討すること。

提案手法

• EEG、EOG、EMG信号から抽出した28個の手作業特徴量を用いて、無教師学習で事前学習された深層信念ネットワーク（DBN）を用いる。
• DBNを階層的特徴抽出器として用い、元の特徴量を高次元の表現に変換する。
• DBNで学習された特徴量を長短期記憶（LSTM）ネットワークに供給し、睡眠ステージ間の時間的依存関係をモデル化する。
• LSTMが睡眠ステージ遷移における長距離の順序的パターンを捉える能力を活用する。
• スタックド制限ボルツマンマシン（RBMs）を用いて対照的分散法でDBNを学習し、その後バックプロパゲーションによるファインチューニングを実施する。
• 組み合わせたDBN+LSTMモデルを、公開ベンチマークデータセットおよび新たに収集したMKGデータセットの両方で適用し、検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 生成的モデル（DBN）と時系列判別的モデル（LSTM）を組み合わせることで、従来手法と比較して睡眠ステージ分類の精度が向上するか？
• RQ2 DBN+LSTMモデルは、ベンチマークおよび新たに収集した睡眠データセットの両方において、全体の精度とF1スコアの観点でどの程度の性能を示すか？
• RQ3 睡眠ステージを独立したインスタンスではなく時系列としてモデル化することで、分類性能にどのような影響が生じるか？
• RQ4 特に先行研究で報告された91.31%の精度と比較して、分類結果はどの程度の差を示すか？
• RQ5 どの睡眠ステージペアが最も区別が困難であり、モデルはこれらのクラスに対してどの程度の性能を示すか？

主な発見

• DBN+LSTMモデルは、ベンチマークデータセットで全体の精度98.75%およびF1スコア0.9875を達成し、先行の最先端手法（91.31%）を顕著に上回った。
• 独自のMKGデータセットでは、全体の精度98.94%およびF1スコア0.9894に達し、汎化性能の高さを示した。
• DBN+LSTMの誤分類マトリクスでは、S3（ノンレム睡眠の深睡期）およびレム睡眠（REM）の分類がほぼ完璧であり、これらのクラスで98%以上の精度を示した。
• 最も困難な睡眠ステージペアは、EOGおよびEMG波形の特徴が類似しているためS1とS2であり、MKGデータセットではWAKEとS1の区別が困難であった。
• LSTM部のおかげで、DBN+HMMよりも高いF1スコアと、fold間で一貫性のある予測が得られた。
• DBNの事前学習フェーズの学習時間は1フォールドあたり42〜45分であり、ベンチマークデータセット全体での学習は約4時間、MKGデータセットでは約17時間であった。推論時間は20,000サンプルでわずか約16秒であった。