[論文レビュー] BrainWave: A Brain Signal Foundation Model for Clinical Applications

Zhizhang Yuan, Shen, Fanqi+4 more|arXiv (Cornell University)|Feb 15, 2024

Neural dynamics and brain functionNeuroscience被引用数 3

ひとこと要約

Brant-2 は、4TB の多様な脳信号データ（SEEG および EEG）を用いた大規模事前学習を活用する脳信号向け基盤モデルであり、複数の臨床的タスクにおいて強力な少サンプル性能を実現する。ラベル効率性と一般化性能に優れ、てんかん発作予測においても、ラベル付きデータがたった 1% の場合でも F1 スコアの低下を 10% 未満に抑え、教師あり SOTA モデルを上回る性能を示す。

ABSTRACT

Neural electrical activity is fundamental to brain function, underlying a range of cognitive and behavioral processes, including movement, perception, decision-making, and consciousness. Abnormal patterns of neural signaling often indicate the presence of underlying brain diseases. The variability among individuals, the diverse array of clinical symptoms from various brain disorders, and the limited availability of diagnostic classifications, have posed significant barriers to formulating reliable model of neural signals for diverse application contexts. Here, we present BrainWave, the first foundation model for both invasive and non-invasive neural recordings, pretrained on more than 40,000 hours of electrical brain recordings (13.79 TB of data) from approximately 16,000 individuals. Our analysis show that BrainWave outperforms all other competing models and consistently achieves state-of-the-art performance in the diagnosis and identification of neurological disorders. We also demonstrate robust capabilities of BrainWave in enabling zero-shot transfer learning across varying recording conditions and brain diseases, as well as few-shot classification without fine-tuning, suggesting that BrainWave learns highly generalizable representations of neural signals. We hence believe that open-sourcing BrainWave will facilitate a wide range of clinical applications in medicine, paving the way for AI-driven approaches to investigate brain disorders and advance neuroscience research.

研究の動機と目的

• 臨床神経科学分野におけるラベル付き脳信号データの高コストおよび希少性を解決するため、基盤モデルの開発を目的とする。
• 侵襲的（SEEG）および非侵襲的（EEG）脳信号モodalities に共通して適用可能な単一の統合モデルの構築を目的とする。
• 臨床応用で一般的な低リソースラベル設定における性能向上を目的とする。
• てんかん検出、予測、睡眠ステージング、感情認識、運動イメージレーションなどの多様な脳信号タスク間での転移学習を可能にする。
• 最適な一般化性とスケーラビリティを実現するため、アーキテクチャ的要素および事前学習目的の妥当性を検証する。

提案手法

• SEEG および EEG モダリティから得られた 15,000 人以上の被験者から得た 4TB のラベルなし脳信号データを用いて事前学習を行う。
• 時間的ダイナミクスと電極間空間相関をモデル化するため、別々の時間的および空間的エンコーダーを備えたデュアルエンコーダー構造を採用する。
• 短時間および長時間の依存関係を捉えるために、マスク信号再構成および将来信号予測の 2 つの事前学習タスクを用いる。
• 表現能力とモデルの複雑さを向上させるために、マルチ・フィードフォワードネットワーク（multi-FFN）を用いた Transformer ブロックを導入する。
• 最小限のラベル付きデータを用いて微調整することで、少サンプル適応を可能にする。
• アブレーション変種の間での公平な比較を確保するため、モデルサイズおよびパラメータ数を制御する。

実験結果

リサーチクエスチョン

• RQ1 異なるサンプリングレートおよび電極構成を持つ多様な脳信号モダリティ（SEEG および EEG）にわたって、基盤モデルが一般化可能か？
• RQ2 提示された事前学習タスク（マスキングおよび予測）が、強固で転送可能な表現を学習するのにどの程度効果的か？
• RQ3 1% のトレーニングラベルという低リソースラベル設定において、Brant-2 はどの程度の性能を維持できるか？
• RQ4 個々のアーキテクチャ的要素（時間的エンコーダー、空間的エンコーダー、multi-FFN）が、下流タスクの性能にどの程度寄与しているか？
• RQ5 複数のタスクを統合して事前学習することで、多様な下流応用への適応性が向上するか？

主な発見

• Brant-2 は、5 つの下流タスクにおいて、すべてのアブレーションバージョンを上回り、時間的および空間的エンコーダー、および multi-FFN モジュールの必要性を示した。
• 時間的エンコーダーを削除したモデルが最も悪い性能を示し、脳信号における時間的依存関係のモデル化の重要性を裏付けた。
• パターン理解を要するタスク（例：てんかん検出、感情認識）では、マスク予測による事前学習が予測学習よりも効果的であった。
• 将来予測を要するタスク（例：てんかん予測）では、予測事前学習がより優れた結果を示し、事前学習目的のタスク特化型の利点を示した。
• ラベル付きデータがたった 1% の場合、Brant-2 の F1 スコア低下は 10% 未満であったが、教師あり SOTA（Lopes et al., 2023）では 50.6% の低下を示し、優れたラベル効率性を実証した。
• 事前学習および微調整の両方においてスケーラビリティを示し、最小限の微調整で多様なタスクで強力な性能を維持した。