[論文レビュー] Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI

Wei-Bang Jiang, Liming Zhao+1 more|arXiv (Cornell University)|May 29, 2024

Neural Networks and Applications被引用数 16

ひとこと要約

LaBraM は、2,500 時間の多様な EEG データで事前学習された、タスク横断の多様な BCI タスクに対応する普遍的表現を学習する大規模 Transformer ベースの EEG 基盤モデルです。

ABSTRACT

The current electroencephalogram (EEG) based deep learning models are typically designed for specific datasets and applications in brain-computer interaction (BCI), limiting the scale of the models and thus diminishing their perceptual capabilities and generalizability. Recently, Large Language Models (LLMs) have achieved unprecedented success in text processing, prompting us to explore the capabilities of Large EEG Models (LEMs). We hope that LEMs can break through the limitations of different task types of EEG datasets, and obtain universal perceptual capabilities of EEG signals through unsupervised pre-training. Then the models can be fine-tuned for different downstream tasks. However, compared to text data, the volume of EEG datasets is generally small and the format varies widely. For example, there can be mismatched numbers of electrodes, unequal length data samples, varied task designs, and low signal-to-noise ratio. To overcome these challenges, we propose a unified foundation model for EEG called Large Brain Model (LaBraM). LaBraM enables cross-dataset learning by segmenting the EEG signals into EEG channel patches. Vector-quantized neural spectrum prediction is used to train a semantically rich neural tokenizer that encodes continuous raw EEG channel patches into compact neural codes. We then pre-train neural Transformers by predicting the original neural codes for the masked EEG channel patches. The LaBraMs were pre-trained on about 2,500 hours of various types of EEG signals from around 20 datasets and validated on multiple different types of downstream tasks. Experiments on abnormal detection, event type classification, emotion recognition, and gait prediction show that our LaBraM outperforms all compared SOTA methods in their respective fields. Our code is available at https://github.com/935963004/LaBraM.

研究の動機と目的

• BCI におけるタスク特化型 EEG モデルと小規模データセットの限界を動機づけ、対処する。
• 多様なチャンネル数とシーケンス長に対応できる統一的な EEG 基盤モデルの提案。
• スペクトラムベースのコードブックを介して EEG パッチを離散化するニューラル・トークナイザーの開発。
• マスク付き EEG モデリングを用いた事前学習により汎用的な EEG 表現を学習。
• SOTA 手法と比較して、複数の下流 EEG タスクで優れた性能を示す。

提案手法

• 生データの EEG をチャンネル・パッチに分割し、各パッチに時系列エンコーダを適用。
• パッチ埋め込みに可変学習可能な時間的および空間的埋め込みを追加し、Transformer エンコーダで処理。
• パッチのフーリエスペクトルの振幅と位相を予測することで、ベクトル量子化ニューラルスペクトル・トークナイザーを訓練。
• 学習可能なマスク・トークンを用いたマスク付き EEG モデリングにより、Transformer に隠されたトークンを予測させる。
• トレーニングの効率とデータ多様性を向上させるため、対称マスキングを適用。
• TUAB および TUEV の下流タスクで3つのモデルサイズ（5.8M、46M、369M パラメータ）を評価。

実験結果

リサーチクエスチョン

• RQ1 Q1: 大規模なラベルなし EEG データをどのように活用して大規模 EEG 基盤モデルを訓練するか？
• RQ2 Q2: さまざまなサイズのモデルが強力な下流性能を達成するために、事前学習データはどれくらい必要か？
• RQ3 Q3: 統一モデルは多様な EEG 設定（チャンネル数および長さの異なる設定）に対応しつつ、複数タスクで良好な性能を発揮できるか？
• RQ4 Q4: 多様な EEG データに対する無監督事前学習は、異常検知、イベントタイプ分類、感情認識、歩行予測などのタスク間の一般化を改善しますか？

主な発見

Method	Model Size	Balanced Accuracy	AUC-PR	AUROC
LaBraM-Base	5.8M	0.8140 ± 0.0019	0.8965 ± 0.0016	0.9022 ± 0.0009
LaBraM-Large	46M	0.8226 ± 0.0015	0.9130 ± 0.0005	0.9127 ± 0.0005
LaBraM-Huge	369M	0.8258 ± 0.0011	0.9204 ± 0.0011	0.9162 ± 0.0016

• LaBraM は TUAB および TUEV において複数の指標で最先端手法を上回る。
• LaBraM-Base は TUAB で Balanced Accuracy 0.8140, AUROC 0.9022 を達成； LaBraM-Large は Balanced Accuracy 0.8226, AUROC 0.9127； LaBraM-Huge は Balanced Accuracy 0.8258, AUROC 0.9162。
• TUEV では、LaBraM-Base は Balanced Accuracy 0.6409、Cohen’s Kappa 0.6637、Weighted F1 0.8312 を取得；LaBraM-Large は 0.6581、0.6622、0.8315 を達成；LaBraM-Huge は 0.6616、0.6745、0.8329。
• 下流タスクデータを用いた事前学習は下流性能に顕著な影響を与えず、普遍的な EEG 表現を示唆。
• より多くの事前学習データで大規模モデルの性能が向上することを示し、スケーリングの利点を示唆。
• スケーリング法則が観察され：Huge モデルはおそらく 2,500 時間を超える桁違いのデータから利益を得る可能性（暫定的にはそれ以上）を示唆。