[論文レビュー] Common Spatial Generative Adversarial Networks based EEG Data Augmentation for Cross-Subject Brain-Computer Interface

Yonghao Song, Lie Yang+2 more|arXiv (Cornell University)|Feb 8, 2021

EEG and Brain-Computer Interfaces参考文献 59被引用数 14

ひとこと要約

本稿では、クロス・サブジェクト脳-コンピュータインターフェース（BCI）システムにおけるEEGデータ拡張を目的として、共通空間的生成対抗ネットワーク（CS-GAN）を提案する。空間的特徴の保持を共変動行列に基づく部分空間を用いて行い、カテゴリ識別損失を用いた対抗訓練を実施することで、高品質で被験者固有のEEGデータを生成した。その結果、BCI コンペティション IV データセット 2a における1人を除いた被験者を対象としたテストでは分類精度が15.85%向上し、最小限のファインチューニング条件下でも8.57%向上した。

ABSTRACT

The cross-subject application of EEG-based brain-computer interface (BCI) has always been limited by large individual difference and complex characteristics that are difficult to perceive. Therefore, it takes a long time to collect the training data of each user for calibration. Even transfer learning method pre-training with amounts of subject-independent data cannot decode different EEG signal categories without enough subject-specific data. Hence, we proposed a cross-subject EEG classification framework with a generative adversarial networks (GANs) based method named common spatial GAN (CS-GAN), which used adversarial training between a generator and a discriminator to obtain high-quality data for augmentation. A particular module in the discriminator was employed to maintain the spatial features of the EEG signals and increase the difference between different categories, with two losses for further enhancement. Through adaptive training with sufficient augmentation data, our cross-subject classification accuracy yielded a significant improvement of 15.85% than leave-one subject-out (LOO) test and 8.57% than just adapting 100 original samples on the dataset 2a of BCI competition IV. Moreover, We designed a convolutional neural networks (CNNs) based classification method as a benchmark with a similar spatial enhancement idea, which achieved remarkable results to classify motor imagery EEG data. In summary, our framework provides a promising way to deal with the cross-subject problem and promote the practical application of BCI.

研究の動機と目的

• EEG信号に顕著な個人差が生じるため、クロス・サブジェクトBCIの性能が制限されるという課題に対処すること。
• 被験者固有のデータが不足しているため、被験者非依存モデルや転移学習の限界を克服すること。
• 空間的および周波数的特徴を保持するとともに、EEG信号におけるクラス間分離性を高めるデータ拡張フレームワークを開発すること。
• GANベースの合成EEGデータ生成が、広範なキャリブレーションを要せずとも、被験者間での一般化を効果的に向上させられることを実証すること。
• モーターリマジネーションEEG分類のための空間的強化を施したベンチマークCNNモデルを確立し、提案された拡張フレームワークの有効性を検証すること。

提案手法

• 被験者およびクラスラベルを条件とする多チャンネルEEG信号を生成する条件付きGANアーキテクチャ（CS-GAN）を設計する。
• 識別器にCSモジュールを導入し、共有部分空間における共分散行列推定を用いて空間的特徴の学習を強制する。
• 2つの補助損失を適用する—共分散構造の保持のためのcov-lossと、潜在空間内でのクラス間分離性の向上のためのev-loss。
• 実データと生成データを統合してリアルタイムに学習を適応させるアダプティブトレーニングを実施し、厳密な事前学習／ファインチューニングの分離を不要とする。
• 生成器と識別器の間で対抗学習を実施し、実データの統計的分布を模倣する現実的なEEGサンプルを生成する。
• CS-GANフレームワークと同一の空間的特徴学習原理を用いるCNNベースの分類器をベンチマークとして採用する。

実験結果

リサーチクエスチョン

• RQ1 被験者固有のデータがわずかにしか入手できない状況下で、GANベースのデータ拡張がクロス・サブジェクトEEG分類を効果的に改善できるか？
• RQ2 潜在空間における空間的特徴の保持が、生成されたEEG信号の品質および識別可能性に与える影響はいかほどか？
• RQ3 本稿で提案するCS-GANフレームワークは、従来のデータ拡張技術に比べて、クロス・サブジェクトBCI応用においてどの程度優れているか？
• RQ4 共分散構造制約（cov-lossおよびev-lossを介して）を統合することで、標準的なGANと比較して被験者間での一般化性能が向上するか？
• RQ5 本稿で提案するフレームワークは、被験者固有のデータを最小限に抑えても、効果的な適応が可能となるため、BCIシステムにおけるキャリブレーション時間を短縮できるか？

主な発見

• 提案されたCS-GANフレームワークは、BCI コンペティション IV データセット 2a における1人を除いた被験者を対象としたテストと比較して、クロス・サブジェクト分類精度を15.85%向上させた。
• 100件のオリジナル被験者固有サンプルのみを用いても、単純なファインチューニングと比較して8.57%の向上を達成し、優れたデータ効率性を示した。
• 空間的強化を施したCNNベンチマークモデルは、データセット2aにおける単一被験者分類で最先端の性能を達成し、空間的特徴学習の有効性を裏付けた。
• 生成されたEEGサンプルは、時間領域、周波数領域、空間領域において、実データとの分布的類似性が向上しており、高品質な合成を示した。
• 顕著な個人差を持つ被験者間でも一般化能力を示し、生理的変動に対して高いロバストネスを示した。
• 実データと生成データを混合して用いたアダプティブトレーニングは、厳密な事前学習とファインチューニングの分離プロトコルを上回る性能を示し、実用的展開における柔軟性と有効性を示した。