[論文レビュー] Learning Representations from EEG with Deep Recurrent-Convolutional Neural Networks

Pouya Bashivan, Irina Rish+2 more|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications被引用数 542

ひとこと要約

本稿では、多チャネルEEG時系列を位相を保つ多スペクトル画像（「EEGムービー」としての）に変換する深層再帰的畝込みニューラルネットワークを提案する。空間的・スペクトル的特徴抽出のための3次元畝込み層と、時間的モデリングのためのLSTMを組み合わせることで、前例を凌駉する分類精度を達成し、空間的・スペクトル的・時間的構造を保持したまま、頑健で不変な表現を学習する。

ABSTRACT

One of the challenges in modeling cognitive events from electroencephalogram (EEG) data is finding representations that are invariant to inter- and intra-subject differences, as well as to inherent noise associated with such data. Herein, we propose a novel approach for learning such representations from multi-channel EEG time-series, and demonstrate its advantages in the context of mental load classification task. First, we transform EEG activities into a sequence of topology-preserving multi-spectral images, as opposed to standard EEG analysis techniques that ignore such spatial information. Next, we train a deep recurrent-convolutional network inspired by state-of-the-art video classification to learn robust representations from the sequence of images. The proposed approach is designed to preserve the spatial, spectral, and temporal structure of EEG which leads to finding features that are less sensitive to variations and distortions within each dimension. Empirical evaluation on the cognitive load classification task demonstrated significant improvements in classification accuracy over current state-of-the-art approaches in this field.

研究の動機と目的

• EEGデータにおける被験者間・被験者内ばらつきとノイズの影響を軽減し、頑健な認知状態モデリングを実現する。
• EEG信号の空間的・スペクトル的・時間的構造を保持する表現学習手法を開発する。
• 生の時系列ベクトルではなく、構造化されたEEG画像系列に基づく深層学習を活用して、精神的負荷分類の精度を向上させる。
• 電極配置が異なる多様なEEGハードウェア環境に対応可能なフレームワークを構築するため、データを標準化された画像フレームに変換する。

提案手法

• 多チャネルEEG時系列を、位相を保つ多スペクトル画像の系列に変換し、各時間ウィンドウを「EEGムービー」の1フレームとして扱う。
• 3次元畝込みニューラルネットワークを用いて、各EEGフレームから空間的およびスペクトル的不変特徴を抽出し、電極および周波数帯域における局所的パターンを捉える。
• 長短記憶（LSTM）ネットワークを統合し、連続するEEGフレーム間の時間的依存性をモデリングし、時間経過に伴う動的パターンを学習する。
• 畳み込み層の特徴マップを入力空間に逆投影することで、畳み込み層のフィルタを可視化するためのデコンボリューションネットワーク（deconvnet）を用いる。これにより、神経科学的に解釈可能なパターンが明らかになる。
• 電極の空間座標を入力として用いることで、異なるデータセット間でのアライメントを実現し、ラベル付き精神的負荷データを用いた教師あり学習により、エンドツーエンドの深層再帰的畝込みアーキテクチャを訓練する。
• 将来の拡張として、統合済みまたはラベルなしEEGデータセットを用いた教師なし事前学習を活用し、表現学習の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 EEGデータの空間的・スペクトル的・時間的構造を保持する深層学習モデルは、被験者間・被験者内ばらつきに対してより頑健な性能を達成できるか？
• RQ2 EEGを多スペクトル画像の系列に変換することで、従来のベクトルベースのEEG特徴処理と比較して、表現学習が向上するか？
• RQ3 再帰的畝込みアーキテクチャは、認知的負荷の既知の電気生理学的マーカーと整合する特徴をどれほど学習できるか？
• RQ4 提案手法は、電極配置が異なる多様なEEGハードウェア環境に対しても汎用性を示せるか？

主な発見

• 提案手法は、最先端のアプローチと比較して、精神的負荷タスクにおける分類精度を顕著に向上させ、ノイズおよびばらつきに対して優れた頑健性を示した。
• デコンボリューション可視化により、初期層の学習済みフィルタが、特に前頭部領域に広がるトータル（1–7 Hz）およびバータ（13–30 Hz）活動を検出していることが明らかになった。
• より深い層では、次第に局所的かつ周波数選択的である検出器が現れ、後頭部領域のパラジアル（8–12 Hz）活動も捉えており、既知の神経生理学的マーカーと整合した。
• 異なる被験者や入力画像間でも、視覚的に異なるにもかかわらず、特徴マップの活性化パターンに強い類似性が見られた。これは、不変な表現学習が実現されたことを示している。
• 電極位置を標準化された画像フレームにマッピングする前処理により、異なる電極配置を有するデータセットの統合が可能となり、モデルが多様な電極配置から学習できるようになった。
• EEG画像系列に対するエンドツーエンド学習が、手作業で特徴を抽出する従来のEEG解析パイプラインを上回ることを示した。