[論文レビュー] Deep learning with convolutional neural networks for brain mapping and decoding of movement-related information from the human EEG.

Robin Tibor Schirrmeister, Jost Tobias Springenberg+7 more|arXiv (Cornell University)|Mar 15, 2017

EEG and Brain-Computer Interfaces被引用数 63

ひとこと要約

本研究では、バッチ正規化と指数型線形ユニット（ELUs）を備えた高度なアーキテクチャを用いて、生のヒトEEGから直接運動関連情報を復号するエンド・ツー・エンドのディープ畳み込みニューラルネットワーク（ConvNets）を提案する。この手法は、標準的なFBCSPアルゴリズムと同等またはそれ以上の性能を達成しており、新規の可視化技術により、ConvNetsがアルファ、ベータ、ハイギャンマ帯域におけるスペクトルパワー変調を学習し、それらの空間的寄与を運動復号にマッピングしていることが明らかになった。

ABSTRACT

Deep learning with convolutional neural networks (deep ConvNets) has revolutionized computer vision through end-to-end learning, i.e. learning from the raw data. Now, there is increasing interest in using deep ConvNets for end-to-end EEG analysis. However, little is known about many important aspects of how to design and train ConvNets for end-to-end EEG decoding, and there is still a lack of techniques to visualize the informative EEG features the ConvNets learn. Here, we studied deep ConvNets with a range of different architectures, designed for decoding imagined or executed movements from raw EEG. Our results show that recent advances from the machine learning field, including batch normalization and exponential linear units, together with a cropped training strategy, boosted the deep ConvNets decoding performance, reaching or surpassing that of the widely-used filter bank common spatial patterns (FBCSP) decoding algorithm. While FBCSP is designed to use spectral power modulations, the features used by ConvNets are not fixed a priori. Our novel methods for visualizing the learned features demonstrated that ConvNets indeed learned to use spectral power modulations in the alpha, beta and high gamma frequencies. These methods also proved useful as a technique for spatially mapping the learned features, revealing the topography of the causal contributions of features in different frequency bands to decoding the movement classes. Our study thus shows how to design and train ConvNets to decode movement-related information from the raw EEG without handcrafted features and highlights the potential of deep ConvNets combined with advanced visualization techniques for EEG-based brain mapping.

研究の動機と目的

• 生のEEGからイメージド・モーショントラブルや実行運動を、手作業による特徴抽出なしにエンド・ツー・エンドで復号するためのディープConvNetの開発と評価。
• EEGベースのブレインコンピュータインターフェースにおける復号性能を向上させるために、アーキテクチャ的およびトレーニング上の革新を同定すること。
• ConvNetがEEGデータで学習した情報特徴を解釈するための新規可視化技術の開発。
• 学習された特徴を用いて、異なる周波数帯域に特化した寄与の空間的トポグラフィーを運動復号にマッピングすること。

提案手法

• 生の時系列データからEEG信号復号に特化した複数のディープConvNetアーキテクチャを設計・訓練した。
• トレーニングの安定性と性能向上のため、バッチ正規化と指数型線形ユニット（ELUs）を統合した。
• 限られたEEGデータにおける汎化性能を向上させ、過学習を低減するために、クロップドトレーニング戦略を適用した。
• 学習された特徴を解釈するための可視化手法を開発し、アルファ、ベータ、ハイギャンマ帯域の変調といった周波数帯特異的パターンを同定した。
• 空間的マッピング技術を用いて、学習された特徴が電極配置にわたる寄与を可視化した。
• 手作業によるスペクトルパワー特徴に依存する広く使われているFBCSPアルゴリズムと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 生のEEGに対して、従来のFBCSPと比較して、ディープConvNetが競争的または優れた復号性能を達成できるか？
• RQ2 バッチ正規化、ELUs、クロップドトレーニングなどのアーキテクチャ的およびトレーニング上の革新の中で、EEG復号におけるConvNet性能を最も顕著に向上させる要因は何か？
• RQ3 ConvNetは、アルファ、ベータ、ハイギャンマ帯域といった特定の周波数帯域におけるスペクトルパワー変調を学習しているか？
• RQ4 新規の可視化技術は、ConvNetがEEGで学習した特徴の背後にある空間的および周波数的パターンを効果的に明らかにできるか？
• RQ5 異なる運動クラスに対して、学習された特徴が頭皮全体にわたる因果的寄与の空間的トポグラフィーはどのようなものか？

主な発見

• バッチ正規化と指数型線形ユニット（ELUs）を備えた提案されたディープConvNetアーキテクチャは、標準的なFBCSPアルゴリズムと同等またはそれ以上の復号性能を達成した。
• クロップドトレーニング戦略は、EEG復号タスクにおけるモデルの汎化性能と性能を顕著に向上させた。
• 可視化技術により、ConvNetがアルファ、ベータ、ハイギャンマ周波数帯域におけるスペクトルパワー変調を検出する能力を学習していることが確認された。
• 学習された特徴の空間的マッピングにより、特にセンソリモータ領域において、頭皮全体にわたる寄与の明確なトポグラフィー的パターンが明らかになった。
• 学習された特徴は事前に固定されておらず、生のEEGから関連する時空間的および周波数的パターンを能動的に抽出できる能力を示した。
• ディープラーニングと高度な可視化の組み合わせにより、生EEGから運動関連神経動態の解釈可能な脳マッピングが可能になった。