Skip to main content
QUICK REVIEW

[论文解读] BrainBERT: Self-supervised representation learning for intracranial recordings

Christopher Wang, Vighnesh Subramaniam|arXiv (Cornell University)|Feb 28, 2023
Blind Source Separation TechniquesComputer Science被引用 12
一句话总结

BrainBERT 是一个基于 Transformer 的模型,事先在未标注的颅内记录上进行预训练,以生成情境化嵌入,在新受试者和电极位置上提高线性解码的准确性和数据效率。

ABSTRACT

We create a reusable Transformer, BrainBERT, for intracranial recordings bringing modern representation learning approaches to neuroscience. Much like in NLP and speech recognition, this Transformer enables classifying complex concepts, i.e., decoding neural data, with higher accuracy and with much less data by being pretrained in an unsupervised manner on a large corpus of unannotated neural recordings. Our approach generalizes to new subjects with electrodes in new positions and to unrelated tasks showing that the representations robustly disentangle the neural signal. Just like in NLP where one can study language by investigating what a language model learns, this approach opens the door to investigating the brain by what a model of the brain learns. As a first step along this path, we demonstrate a new analysis of the intrinsic dimensionality of the computations in different areas of the brain. To construct these representations, we combine a technique for producing super-resolution spectrograms of neural data with an approach designed for generating contextual representations of audio by masking. In the future, far more concepts will be decodable from neural recordings by using representation learning, potentially unlocking the brain like language models unlocked language.

研究动机与目标

  • 提供一个可重复使用的、对受试者和电极无关的颅内场位表示。
  • 证明自监督的 BrainBERT 嵌入在线性解码器上优于原始信号和传统频谱特征。
  • 展示对具有新受试者、新的电极位置且数据有限的泛化能力。
  • 通过 BrainBERT 嵌入分析大脑计算,包括跨大脑区域的内在维数(intrinsic dimensionality)。

提出的方法

  • 用时频表示颅内数据(STFT 或 superlet transform)。
  • 用 Transformer 编码器对表示进行编码,并通过自监督的掩蔽频谱重建进行学习。
  • 应用一个内容感知的重建损失,强调非零频谱元素以捕捉突发。
  • 在训练下游线性解码器进行解码任务时,对 BrainBERT 权重进行微调或冻结。
  • 在保留会话和电极的条件下进行评估,包括对未见受试者新电极位置的泛化。

实验结果

研究问题

  • RQ1BrainBERT 在未标注颅内记录上预训练,是否在多样任务上改善线性解码性能,相较基线?
  • RQ2BrainBERT 嵌入是否能泛化到在预训练时未见的新受试者和新电极位置?
  • RQ3BrainBERT 嵌入是否实现数据高效解码,所需标记示例更少于传统方法?
  • RQ4通过 BrainBERT 嵌入可以得出哪些神经科学洞见,例如跨大脑区域的内在维数?

主要发现

  • BrainBERT 在使用线性解码器时,在多个任务上实现比基线更高的解码性能(AUC)。
  • BrainBERT 能泛化到全新受试者和新电极位置,保持性能提升。
  • BrainBERT 嵌入在数据较少时也能实现类似或更好的性能,减少对大规模标记数据集的需求。
  • 对 BrainBERT 嵌入的内在维数(ID)的新分析表明存在空间分布的、任务无关的维数,前额叶和颞叶区域显示出较高的 ID。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。