[论文解读] BrainWave: A Brain Signal Foundation Model for Clinical Applications

Zhizhang Yuan, Shen, Fanqi+4 more|arXiv (Cornell University)|Feb 15, 2024

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

Brant-2 是一种用于脑电信号的基础模型，通过在 4 TB 的多样化皮层内（SEEG）和非侵入性（EEG）神经数据上进行大规模预训练，实现了在多种临床任务中的强大 few-shot 性能。该模型表现出稳健的泛化能力和标签效率，在仅使用 1% 标注数据的情况下，F1 分数下降不足 10%，显著优于监督学习的 SOTA 模型，尤其在癫痫预测任务中表现突出。

ABSTRACT

Neural electrical activity is fundamental to brain function, underlying a range of cognitive and behavioral processes, including movement, perception, decision-making, and consciousness. Abnormal patterns of neural signaling often indicate the presence of underlying brain diseases. The variability among individuals, the diverse array of clinical symptoms from various brain disorders, and the limited availability of diagnostic classifications, have posed significant barriers to formulating reliable model of neural signals for diverse application contexts. Here, we present BrainWave, the first foundation model for both invasive and non-invasive neural recordings, pretrained on more than 40,000 hours of electrical brain recordings (13.79 TB of data) from approximately 16,000 individuals. Our analysis show that BrainWave outperforms all other competing models and consistently achieves state-of-the-art performance in the diagnosis and identification of neurological disorders. We also demonstrate robust capabilities of BrainWave in enabling zero-shot transfer learning across varying recording conditions and brain diseases, as well as few-shot classification without fine-tuning, suggesting that BrainWave learns highly generalizable representations of neural signals. We hence believe that open-sourcing BrainWave will facilitate a wide range of clinical applications in medicine, paving the way for AI-driven approaches to investigate brain disorders and advance neuroscience research.

研究动机与目标

• 通过开发一种基础模型，解决临床神经科学中标签化脑电信号数据成本高、稀缺的问题。
• 构建一个统一的模型，适用于侵入性（SEEG）和非侵入性（EEG）脑电信号模态。
• 提升在临床应用中常见的低资源标签化场景下的性能表现。
• 实现跨多种脑电信号任务（如癫痫检测、预测、睡眠阶段划分、情绪识别和运动想象）的迁移学习能力。
• 验证架构组件和预训练目标，以实现最优的泛化能力与可扩展性。

提出的方法

• 在超过 15,000 名受试者提供的 4 TB 未标注脑电信号数据上进行预训练，涵盖 SEEG 和 EEG 模态。
• 采用双编码器架构，分别使用时间编码器和空间编码器，以建模序列动态和电极间的空间相关性。
• 使用两种预训练任务：掩码信号重建与未来信号预测，以捕捉短期和长期依赖关系。
• 应用多前馈网络（multi-FFN）Transformer 模块，以增强表征能力与模型复杂度。
• 在下游任务上使用极少标注数据对预训练模型进行微调，实现 few-shot 适应。
• 通过控制消融实验变体中的模型大小与参数量，确保架构组件比较的公平性。

实验结果

研究问题

• RQ1 基础模型是否能在采样率和电极配置各异的 SEEG 与 EEG 多样化脑电信号模态间实现良好泛化？
• RQ2 所提出的预训练任务（掩码预测与未来预测）在学习稳健、可迁移表征方面的有效性如何？
• RQ3 在低资源标签化场景（如仅使用 1% 训练标签）下，Brant-2 的性能保持程度如何？
• RQ4 各个架构组件（时间编码器、空间编码器、multi-FFN）对下游性能的贡献程度如何？
• RQ5 在多个任务上联合预训练是否能提升模型对多样化下游应用的适应能力？

主要发现

• 在五个下游任务中，Brant-2 均优于所有消融变体，证明时间编码器与空间编码器以及 multi-FFN 模块的必要性。
• 移除时间编码器的模型表现最差，证实建模脑电信号时间依赖性的重要性。
• 在需要理解模式的任务（如癫痫检测、情绪识别）中，掩码预测预训练比未来预测更有效。
• 在需要未来预测的任务（如癫痫预测）中，未来预测预训练效果更优，表明预训练目标具有任务特定优势。
• 仅使用 1% 标注数据时，Brant-2 的 F1 分数下降不足 10%，而监督 SOTA 模型（Lopes et al., 2023）下降高达 50.6%，证明其卓越的标签效率。
• 模型在预训练与微调阶段均表现出良好的可扩展性，在极少微调下仍能保持强性能。