[論文レビュー] Boosted Convolutional Neural Networks for Motor Imagery EEG Decoding with Multiwavelet-based Time-Frequency Conditional Granger Causality Analysis

Yang Li, Meng-Ying Lei+5 more|arXiv (Cornell University)|Oct 22, 2018

EEG and Brain-Computer Interfaces参考文献 44被引用数 4

ひとこと要約

本論文は、多waveletに基づく時周波数条件付きグレーバー因果性（TF-CGC）を活用して、判別的な空間的時間的結合特徴を抽出することで、モーターイメージレーションEEGデコーディングのためのブーストド畳み込みニューラルネットワーク（ConvNet）フレームワークを提案する。本手法は、BCIコンペティションIVデータセットIIaにおいて、優勝者と比較して平均正解率が12.15%向上し、被験者間標準偏差は74.02%低減した。

ABSTRACT

Decoding EEG signals of different mental states is a challenging task for brain-computer interfaces (BCIs) due to nonstationarity of perceptual decision processes. This paper presents a novel boosted convolutional neural networks (ConvNets) decoding scheme for motor imagery (MI) EEG signals assisted by the multiwavelet-based time-frequency (TF) causality analysis. Specifically, multiwavelet basis functions are first combined with Geweke spectral measure to obtain high-resolution TF-conditional Granger causality (CGC) representations, where a regularized orthogonal forward regression (ROFR) algorithm is adopted to detect a parsimonious model with good generalization performance. The causality images for network input preserving time, frequency and location information of connectivity are then designed based on the TF-CGC distributions of alpha band multichannel EEG signals. Further constructed boosted ConvNets by using spatio-temporal convolutions as well as advances in deep learning including cropping and boosting methods, to extract discriminative causality features and classify MI tasks. Our proposed approach outperforms the competition winner algorithm with 12.15% increase in average accuracy and 74.02% decrease in associated inter subject standard deviation for the same binary classification on BCI competition-IV dataset-IIa. Experiment results indicate that the boosted ConvNets with causality images works well in decoding MI-EEG signals and provides a promising framework for developing MI-BCI systems.

研究の動機と目的

• ブレインコンピュータインターフェース（BCI）におけるモーターイメージネーション（MI）EEGデコーディングにおける非定常的で変動しやすい知覚的意思決定プロセスの課題に対処すること。
• MI-EEG信号デコーディングにおける被験者間の分類精度とロバスト性を向上させること。
• 時間、周波数、空間的結合情報を保持するデータ駆動型で因果関係に配慮した特徴表現を開発すること。
• 特に空間的時間的畳み込み、クロッピング、ブースティングを統合した包括的なフレームワークとして、深層学習技術をEEGデコーディングに統合すること。
• 次世代MI-BCIシステムにおける被験者間性能の一貫性を高めたスケーラブルで一般化可能なフレームワークを提供すること。

提案手法

• 高分解能の時周波数条件付きグレーバー因果性（TF-CGC）表現を計算するために、多wavelet基底関数とGewekeスペクトル測定を組み合わせる。
• スパースで一般化可能なTF-CGCモデルを特定するために、正則化直交前進回帰（ROFR）アルゴリズムを適用する。
• 時間、周波数、空間的結合パターンをエンコードした因果画像を、αバンドの多チャネルEEG信号から構築し、深層ネットワークの入力として使用する。
• 空間的時間的畳み込みを用いたブーストドConvNetアーキテクチャを設計し、因果画像から階層的な判別的特徴を抽出する。
• 限られたEEGデータにおけるモデルの一般化能力と性能を向上させるために、データ拡張およびブースティング技術を統合する。
• 交差エントロピー損失と適応的学習率スケジューリングを用いたエンドツーエンドの訓練により、ネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 伝統的なスペクトル的または時間領域特徴と比較して、多waveletに基づく時周波数条件付きグレーバー因果性は、モーターイメージネーションEEG信号に対してより情報量が多く、判別性の高い表現を提供できるか？
• RQ2 TF-CGCから導出された因果画像は、二値モーターイメージネーションタスクのデコーディングにおいて、深層学習モデルの性能をどの程度向上させられるか？
• RQ3 ベンチマークEEGデータセット上で、提案手法のブーストドConvNetフレームワークは、最先端手法と比較して、正解率および被験者間ばらつきの観点でどのように差をつけるか？
• RQ4 空間的時間的畳み込みとブースティング技術の統合は、EEGデコーディングにおける特徴学習と分類のロバスト性を向上させるか？
• RQ5 提案手法は、高いデコーディング正解率を維持しながら、被験者間での一般化性能を優れたものに達成できるか？

主な発見

• 提案手法は、BCIコンペティションIVデータセットIIaにおいて、優勝者と比較して平均分類正解率が12.15%向上した。
• 被験者間標準偏差は、優勝者と比較して74.02%低減され、被験者間のロバスト性と一貫性が著しく向上したことが示された。
• 因果画像は、時間、周波数、空間的結合情報を効果的に保持しており、モデルがEEG結合ダイナミクスからの判別的パターンを学習できるようにした。
• ブーストドConvNetアーキテクチャは、標準的なConvNetや従来手法と比較して、正解率および一般化性能の両面で優れた特徴抽出能力を示した。
• ROFRによるモデル選択のおかげで、過学習を最小限に抑えつつ、スパースで効果的なTF-CGC表現が得られ、解釈可能性が向上した。
• 多waveletに基づくTF-CGCと深層学習の統合は、リアルタイムでかつロバストなMI-BCIシステムに向けた有望でスケーラブルなフレームワークを提供する。