[論文レビュー] Neuro-GPT: Towards A Foundation Model for EEG

Wenhui Cui, Woojae Jeong+5 more|arXiv (Cornell University)|Nov 7, 2023

EEG and Brain-Computer Interfaces被引用数 5

ひとこと要約

Neuro-GPTは、大規模なEEGデータ（TUHデータセット）を用いた自己教師あり事前学習を可能にする、EEGエンコーダとGPTベースのデコーダを組み合わせた基盤モデルを提案する。このモデルは、低データ量の状況下でも、運動想起分類の性能を顕著に向上させ、9名の被験者を対象としたホールドアウトベンチマークでSOTAの正確度（64.3% ± 10.6%）を達成した。これは、多様なEEGデータに一般化するための事前学習の有効性を示している。

ABSTRACT

To handle the scarcity and heterogeneity of electroencephalography (EEG) data for Brain-Computer Interface (BCI) tasks, and to harness the power of large publicly available data sets, we propose Neuro-GPT, a foundation model consisting of an EEG encoder and a GPT model. The foundation model is pre-trained on a large-scale data set using a self-supervised task that learns how to reconstruct masked EEG segments. We then fine-tune the model on a Motor Imagery Classification task to validate its performance in a low-data regime (9 subjects). Our experiments demonstrate that applying a foundation model can significantly improve classification performance compared to a model trained from scratch, which provides evidence for the generalizability of the foundation model and its ability to address challenges of data scarcity and heterogeneity in EEG. The code is publicly available at github.com/wenhui0206/NeuroGPT.

研究の動機と目的

• EEGベースのブレインコンピュータインターフェース（BCI）におけるデータ不足と被験者間のばらつきの課題に対処すること。
• 大規模かつ公開可能なEEGデータを活用して、被験者やタスクに一般化可能な基盤モデルを開発すること。
• GPTに類似したアーキテクチャを用いた自己教師あり事前学習が、EEGにおける特徴抽出と下流分類性能の向上に寄与するかを検証すること。
• チャンクサイズ、オーバーラップ比、モデルの深さといったアーキテクチャ的選択が、事前学習および微調整性能に与える影響を調査すること。

提案手法

• GPTモデルの入力トークンとして使用できるよう、生のEEG信号を固定長の時間的チャンク（T秒）に分割する。
• 1次元畳み込み層と自己注意機構を組み合わせたハイブリッドEEGエンコーダを用い、各チャンクからノイズ低減済みの低次元スパatiotemporal埋め込みを抽出する。
• 因果的マスクを適用し、最後の埋め込みチャンクをマスクし、GPTモデルが自己回帰的次トークン予測によりそれを再構築するように学習する。
• 予測された埋め込みと元の埋め込みの間の再構築損失を用いて、TUH EEGデータセット上で全モデルを事前学習する。
• 9名の被験者での運動想起分類タスクに対して、エンドツーエンド、エンコーダーのみ、エンコーダー＋GPTの3つの戦略を用いてEEGエンコーダーを微調整する。
• チャンク長（1–4秒）、チャンク数（4–32）、オーバーラップ比（10–50%）、埋め込み次元（768–1024）といったハイパーパramータを評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模EEGデータで事前学習された基盤モデルは、低データ量の状況下でも分類性能を向上させることができるか？
• RQ2 EEGエンコーダとGPTデコーダのアーキテクチャ設計は、特徴抽出と下流性能にどのように影響するか？
• RQ3 事前学習に最適なチャンクサイズ、チャンク数、オーバーラップ比の組み合わせは何か？
• RQ4 GPT部は下流分類に有意に寄与しているのか、それとも過学習を引き起こして性能を低下させるのか？
• RQ5 事前学習は、被験者間でEEG特徴の線形分離性をどのように向上させるか？

主な発見

• 事前学習済みのNeuro-GPTモデルは、9名の被験者を対象としたホールドアウトの運動想起タスクで平均64.3% ± 10.6%の分類正確度を達成し、スクラッチから学習したモデル（59.6% ± 9.0%）や先行手法BENDR（42.6%）を上回った。
• エンコーダーのみを微調整する戦略が最も高い性能を示し、事前学習済みエンコーダーが非常に一般化可能で判別力のある特徴を学習していることを示している。
• 事前学習時に16または32のチャンクを使用した場合、4または8のチャンクよりも下流タスクの性能が向上した。これは、より長い系列が特徴抽出を改善することを示唆している。
• 再構築が難しいとされる4秒のチャンク長が、下流性能を向上させた一方で、1秒のチャンクは結果が悪かった。
• GPT-2の埋め込み次元を768から1024に増加させると下流正確度が向上したが、6層を超えてGPTデコーダーの層を増やしても性能向上は見られなかった。
• 50%のオーバーラップ比は、下流性能を低下させた。これは、重複する情報やノイズが再構築と特徴抽出に悪影響を与えた可能性があるためである。