[論文レビュー] Multi-Scale Neural network for EEG Representation Learning in BCI

Wonjun Ko, Eunjin Jeon+2 more|arXiv (Cornell University)|Mar 2, 2020

EEG and Brain-Computer Interfaces参考文献 37被引用数 5

ひとこと要約

本稿では、脳-コンピュータインターフェース（BCI）におけるEEG表現学習のためのコンactでマルチスケールなニューラルネットワーク（MSNN）を提案する。この手法は、複数の周波数および時間スケールにわたる空間的・スペクトル的・時間的特徴を統合的に活用する。エンド・トゥ・エンド学習により、マルチスケール特徴抽出と可視化技術を用いて一般化性能と解釈可能性を向上させることで、モーターイメージ、定常状態視覚誘発電位、精神的疲劳、てんかん発作検出といった多様なBCIパラダイムで最先端の性能を達成した。

ABSTRACT

Recent advances in deep learning have had a methodological and practical impact on brain-computer interface research. Among the various deep network architectures, convolutional neural networks have been well suited for spatio-spectral-temporal electroencephalogram signal representation learning. Most of the existing CNN-based methods described in the literature extract features at a sequential level of abstraction with repetitive nonlinear operations and involve densely connected layers for classification. However, studies in neurophysiology have revealed that EEG signals carry information in different ranges of frequency components. To better reflect these multi-frequency properties in EEGs, we propose a novel deep multi-scale neural network that discovers feature representations in multiple frequency/time ranges and extracts relationships among electrodes, i.e., spatial representations, for subject intention/condition identification. Furthermore, by completely representing EEG signals with spatio-spectral-temporal information, the proposed method can be utilized for diverse paradigms in both active and passive BCIs, contrary to existing methods that are primarily focused on single-paradigm BCIs. To demonstrate the validity of our proposed method, we conducted experiments on various paradigms of active/passive BCI datasets. Our experimental results demonstrated that the proposed method achieved performance improvements when judged against comparable state-of-the-art methods. Additionally, we analyzed the proposed method using different techniques, such as PSD curves and relevance score inspection to validate the multi-scale EEG signal information capturing ability, activation pattern maps for investigating the learned spatial filters, and t-SNE plotting for visualizing represented features. Finally, we also demonstrated our method's application to real-world problems.

研究の動機と目的

• 既存のCNNベースのBCIモデルが特徴を逐次的に抽出するため、マルチ周波数EEG成分を効果的に捉えることができないという限界を是正すること。
• アクティブおよびパッシブBCIの両方に適用可能な汎用的なディープラーニングフレームワークを構築し、パラダイム固有の特徴工学を克服すること。
• EEGベースのBCIシステムで一般的な低データ量環境において、パrameter数を削減しマルチスケール特徴表現を強化することで、モデルの一般化性能を向上させること。
• t-SNE、活性化マップ、関連スコア分析といった可視化技術を用いて、学習された表現の解釈可能性を高めること。
• 眠気や早期てんかん検出といった実世界の応用における実用的価値を実証すること。

提案手法

• 提案されたマルチスケールニューラルネットワーク（MSNN）は、異なるカーネルサイズを有する並列な畳み込みブランチを用い、複数の時間的およびスペクトル的スケールを同時に特徴抽出する。
• 各ブランチは生のEEG信号を処理し、局所的な空間的・スペクトル的・時間的パターンを捉える。電極間で重みを共有することで空間的関係をモデル化する。
• 全ブランチからの特徴量は連結され、グローバル平均プーリングおよび全結合層を経て分類に渡される。
• アーキテクチャはコンactに設計されており、トレーニング可能なパrameter数を削減することで、データが乏しいBCI環境における一般化性能を向上させる。
• 解釈可能性は、サリエンシー・マップ（関連スコア）、活性化パターンの可視化、および特徴空間解析のためのt-SNEによって向上される。
• モデルは交差エントロピー損失を用いてエンド・トゥ・エンドで学習され、多様なパラダイムにわたる複数の公開EEGデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールCNNアーキテクチャは、BCI応用において多様な周波数および時間スケールにわたる判別性の高いEEG表現を効果的に学習できるか？
• RQ2 提案されたMSNNは、アクティブおよびパッシブBCIパラダイムにおける分類精度において、最先端のモデルと比較してどのように差をつけるか？
• RQ3 関連スコア、活性化マップ、t-SNE可視化を用いて、モデルが学習した特徴をどの程度解釈できるか？
• RQ4 マルチスケール設計は、EEGベースのBCIシステムで一般的な低データ量環境における性能向上に寄与するか？
• RQ5 提案された手法は、眠気や早期てんかん検出といった実世界の応用に一般化可能か？

主な発見

• 提案されたMSNNは、SEED-VIGデータセットにおける眠気状態の検出で、すべてのベースラインを上回る最高の精度スコアを達成した。
• CHB-MITデータセットにおける早期てんかん検出において、MSNNは発作発生時刻に近い確信度（確率が1.0に近い）で最も安定かつ信頼性の高い予測を示した。他のモデルは低確信度または誤った確信度スコアを出力していた。
• t-SNE可視化により、最終特徴表現（$\mathcal{G}(\mathbf{f}_{\text{concat}}^{\text{SST}})$）が中間特徴量よりもクラス判別性に優れていることが確認された。
• 活性化パターンマップから、モデルが神経生理学的に意味のあるパターン（例：センソーモーター・リズム）に対応する空間フィルタを学習していることが明らかになった。
• 関連スコア分析により、モデルが異なるEEG周波数帯域にわたるマルチスケールのスペクトル的・時間的情報を効果的に捉えていることが示された。
• MSNNは、モーターイメージ、SSVEP、精神的疲労、てんかん検出といった複数のBCIパラダイムにおいて、最先端の手法を上回る一貫した性能向上を示し、一般化性能が向上した。