[論文レビュー] NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals

Wei-Bang Jiang, Yansen Wang+2 more|arXiv (Cornell University)|Aug 27, 2024

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

NeuroLMは、EEG信号を『外国語』として扱うことで、テキストに揃えたニューラルトークナイザーを用いて、EEG信号処理のための最初の汎用的マルチタスク基盤モデルを提案した。これにより、大規模言語モデル（LLM）とエンド・ツー・エンドで統合可能となった。マルチチャネル自己回帰的事前学習とインstructチューニングにより、6つの多様なEEGタスクで最先端の性能を達成し、最大のバージョン（NeuroLM-XL）では17億パラメータと25,000時間の事前学習データを活用した。

ABSTRACT

Recent advancements for large-scale pre-training with neural signals such as electroencephalogram (EEG) have shown promising results, significantly boosting the development of brain-computer interfaces (BCIs) and healthcare. However, these pre-trained models often require full fine-tuning on each downstream task to achieve substantial improvements, limiting their versatility and usability, and leading to considerable resource wastage. To tackle these challenges, we propose NeuroLM, the first multi-task foundation model that leverages the capabilities of Large Language Models (LLMs) by regarding EEG signals as a foreign language, endowing the model with multi-task learning and inference capabilities. Our approach begins with learning a text-aligned neural tokenizer through vector-quantized temporal-frequency prediction, which encodes EEG signals into discrete neural tokens. These EEG tokens, generated by the frozen vector-quantized (VQ) encoder, are then fed into an LLM that learns causal EEG information via multi-channel autoregression. Consequently, NeuroLM can understand both EEG and language modalities. Finally, multi-task instruction tuning adapts NeuroLM to various downstream tasks. We are the first to demonstrate that, by specific incorporation with LLMs, NeuroLM unifies diverse EEG tasks within a single model through instruction tuning. The largest variant NeuroLM-XL has record-breaking 1.7B parameters for EEG signal processing, and is pre-trained on a large-scale corpus comprising approximately 25,000-hour EEG data. When evaluated on six diverse downstream datasets, NeuroLM showcases the huge potential of this multi-task learning paradigm.

研究の動機と目的

• EEGベースの脳-コンピュータインターフェースや医療応用分野におけるタスク特化型ファインチューニングの限界を解消すること。
• LLMが神経信号を『外国語』として理解できるようにすることで、言語とEEGモダリティのギャップを埋めること。
• タスク特化型ファインチューニングなしで多様なEEGタスクに一般化可能な統合的でマルチタスクの基盤モデルを開発すること。
• EEG-テキストアライメント、LLM内での有効な表現学習、統合的マルチタスク学習の課題を克服すること。
• 大規模事前学習とインstructチューニングが、1つのモデルが複数のEEGタスクを効果的に処理できるようにする可能性を示すこと。

提案手法

• ベクトル量子化された時周波数予測を用いて、連続的EEG信号を離散的ニューラルトークンに変換するテキストに揃えたニューラルトークナイザーを訓練し、EEGとテキストの埋め込みを整列させるために敵対的訓練を実施。
• 凍結されたベクトル量子化（VQ）エンコーダーが、コンactで離散的EEGトークン列を抽出し、事前学習済みの大規模言語モデル（LLM）に供給される。
• マルチチャネル自己回帰的事前学習により、LLMが複数チャネルにわたる将来のEEGトークンを予測することで、因果的表現を学習可能となる。
• 共同マルチタスクインstructチューニングにより、自然言語の指示を用いてモデルをさまざまな下流EEGタスクに適応させ、ゼロショットおよびフェイシング一般化を可能にした。
• モデルは、約25,000時間のEEGコーパスを大規模に事前学習しており、小規模から17億パラメータ（NeuroLM-XL）のスケールのバリエーションを有する。
• フレームワークはEEG信号をトークンの系列として扱うため、LLMが複数のEEGモダリティにわたって理解と生成の両方を実行可能となった。

実験結果

リサーチクエスチョン

• RQ1 EEG信号は、自然言語と意味的に整合する離散的トークンに効果的に符号化可能であり、LLMがそれを『外国語』として処理できるか？
• RQ2 LLMフレームワーク内でのマルチチャネル自己回帰的事前学習が、EEG信号の因果的かつ一般化可能な表現を学習できるか？
• RQ3 1つの統合的基盤モデルが、タスク特化型ファインチューニングなしで、多様で関係のないEEGタスクにおいて優れた性能を発揮できるか？
• RQ4 選択肢のシャッフルといった指示フォーマットの変動に対して、モデルのロバストネスはどの程度か？
• RQ5 インstructデータサイズとモデルスケールが、EEG信号処理におけるマルチタスクパフォーマンスに与える影響は何か？

主な発見

• NeuroLM-XLは、6つの多様なEEGデータセットで最先端の性能を達成し、TUSLデータセットではマクロF1スコア0.6839 ± 0.0297を記録し、先行手法を上回った。
• モデルは、さまざまなインstructデータサイズに対しても一貫した性能を維持しており、マルチタスク学習におけるロバストネスとスケーラビリティを示した。
• アブレーションスタディにより、マルチチャネル自己回帰的事前学習が下流タスクのパフォーマンスを顕著に向上させることを確認し、因果的EEG表現を学習する上でその重要性が浮き彫りになった。
• 複数選択の指示における選択肢のシャッフルに対しても、モデルは強いロバストネスを示し、言語的文脈の真正の理解が行われていることが示された（パターン記憶の結果ではない）。
• 検証のパープレキシティは低下し、学習損失は安定して収束した。これは、すべてのモデルバージョンにおいて未学習のEEGデータに効果的に一般化していることを示している。
• 17億パラメータの巨大サイズであるにもかかわらず、NeuroLM-XLはその能力を十分に活用できていない。これは、現在の事前学習データ量が10億パラメータモデルには不十分である可能性を示唆している。