[論文レビュー] A Deep Learning Approach with an Attention Mechanism for Automatic Sleep Stage Classification

Martin Längkvist, Amy Loutfi|arXiv (Cornell University)|May 14, 2018

Speech Recognition and Synthesis参考文献 1被引用数 11

ひとこと要約

本稿では、多導睡眠図（PSG）データからの自動睡眠ステージ分類のための文脈に適した特徴表現を学習するために、スパース自己符号化器（SAE）と統合された選択的注意メカニズムを提案する。トレーニング中に現在の睡眠ステージに基づいて入力特徴の重要度を動的に重み付けすることで、次元削減を回避しつつ表現学習を向上させ、25名の被験者からなるPSGデータセットにおいて、標準的な自己符号化器や深層信念ネットワーク（DBN）と比較して競争力ある性能を達成した。

ABSTRACT

Automatic sleep staging is a challenging problem and state-of-the-art algorithms have not yet reached satisfactory performance to be used instead of manual scoring by a sleep technician. Much research has been done to find good feature representations that extract the useful information to correctly classify each epoch into the correct sleep stage. While many useful features have been discovered, the amount of features have grown to an extent that a feature reduction step is necessary in order to avoid the curse of dimensionality. One reason for the need of such a large feature set is that many features are good for discriminating only one of the sleep stages and are less informative during other stages. This paper explores how a second feature representation over a large set of pre-defined features can be learned using an auto-encoder with a selective attention for the current sleep stage in the training batch. This selective attention allows the model to learn feature representations that focuses on the more relevant inputs without having to perform any dimensionality reduction of the input data. The performance of the proposed algorithm is evaluated on a large data set of polysomnography (PSG) night recordings of patients with sleep-disordered breathing. The performance of the auto-encoder with selective attention is compared with a regular auto-encoder and previous works using a deep belief network (DBN).

研究の動機と目的

• 自動睡眠ステージ分類における高次元でステージ特化型の特徴の課題に対処すること。
• 事前特徴削減を要しない条件下で、選択的注意が特徴表現学習を改善できるかどうかを検討すること。
• 標準的な自己符号化器および深層信念ネットワーク（DBN）と比較して、選択的注意自己符号化器の性能を評価すること。
• 注意メカニズムが、各睡眠ステージに特化した関連特徴にモデルの注目を向けることで、分類のロバスト性を向上できるかどうかを調査すること。

提案手法

• 1秒ごとに事前に抽出された28個のPSG特徴から、スパース自己符号化器（SAE）を用いて圧縮表現を学習する。
• 注意メカニズムを用いて、トレーニングバッチ内の現在の睡眠ステージに基づき再構成損失を動的に重み付けする。
• 注意メカニズムにより、関連性の低い特徴の損失寄与度を低減し、現在のステージに有用な入力をモデルが集中できるようにする。
• 活性化関数にシグモイド関数を用い、L2重み減衰およびKLダイバージェンスに基づくスパarsity正則化を含む。
• 時間的依存性をモデル化するため、SAEと長短期記憶（LSTM）ネットワークを組み合わせたアーキテクチャを採用する。
• ハイパーパrameter（λ, β, ρ）は、ランダムグリッドサーチにより、再構成誤差、重み減衰、スパarsityのバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 次元削減を要しない条件下で、注意メカニズムが自動睡眠ステージ分類における特徴表現学習を改善できるか？
• RQ2 選択的注意自己符号化器の性能は、標準的な自己符号化器および深層信念ネットワーク（DBN）と比較してどうか？
• RQ3 特徴の注意に基づく重み付けは、特定のステージでのみ情報を持つ特徴の識別性を向上させるか？
• RQ4 手動による特徴選択や削除なしに、モデルがステージ特化型の特徴重要度を効果的に学習できるか？

主な発見

• 選択的注意自己符号化器は、25名の被験者からなるPSGデータセットにおいて、標準的な自己符号化器よりも睡眠ステージ分類の正確性が優れていた。
• 前向きな研究結果と比較して、注意に基づく表現学習の有効性を示した。
• EEGスペクトル平均、フラクタル指数、EMG中央値/エントロピーといった特徴は、それぞれSWS、W、REMステージで強い識別的パワーを示した。
• 注意メカニズムにより、トレーニング中に無関係な特徴の影響が効果的に低減され、モデルがステージ特化型の有用な入力に集中できた。
• 再構成品質を高い水準に維持しながら、より文脈に適した表現を学習したため、一般化の可能性が向上したと考えられる。