[论文解读] Decoding speech perception from non-invasive brain recordings

Alexandre Défossez, Charlotte Caucheteux+3 more|arXiv (Cornell University)|Aug 25, 2022

EEG and Brain-Computer Interfaces参考文献 91被引用 9

一句话总结

本文提出了一种基于对比学习的深度神经网络，能够从175名健康受试者群体的非侵入性MEG和EEG记录中解码感知到的言语。通过利用自监督语音表征（wav2vec 2.0）和多受试者共享的卷积架构，该模型在3秒MEG数据中实现了高达41%的top-1准确率，以识别说出的语音片段——展示了对未见词语和短语的零样本解码能力，其性能接近侵入式方法。

ABSTRACT

Decoding speech from brain activity is a long-awaited goal in both healthcare and neuroscience. Invasive devices have recently led to major milestones in that regard: deep learning algorithms trained on intracranial recordings now start to decode elementary linguistic features (e.g. letters, words, spectrograms). However, extending this approach to natural speech and non-invasive brain recordings remains a major challenge. Here, we introduce a model trained with contrastive-learning to decode self-supervised representations of perceived speech from the non-invasive recordings of a large cohort of healthy individuals. To evaluate this approach, we curate and integrate four public datasets, encompassing 175 volunteers recorded with magneto- or electro-encephalography (M/EEG), while they listened to short stories and isolated sentences. The results show that our model can identify, from 3 seconds of MEG signals, the corresponding speech segment with up to 41% accuracy out of more than 1,000 distinct possibilities on average across participants, and more than 80% in the very best participants - a performance that allows the decoding of words and phrases absent from the training set. The comparison of our model to a variety of baselines highlights the importance of (i) a contrastive objective, (ii) pretrained representations of speech and (iii) a common convolutional architecture simultaneously trained across multiple participants. Finally, the analysis of the decoder's predictions suggests that they primarily depend on lexical and contextual semantic representations. Overall, this effective decoding of perceived speech from non-invasive recordings delineates a promising path to decode language from brain activity, without putting patients at risk for brain surgery.

研究动机与目标

• 开发一种非侵入性脑机接口（BCI），在无需脑部手术或侵入性电极的情况下解码感知到的言语。
• 通过使用多受试者对比学习框架，克服非侵入性记录（MEG/EEG）中噪声大、可变性强的挑战。
• 利用共享的高层次语言表征，实现训练集中未出现的词语和短语的零样本解码。
• 识别决定解码成功的关键脑信号成分（词汇、语义），为未来BCI设计提供依据。
• 建立可重复、可扩展的流程，用于从健康个体的非侵入性脑活动解码言语感知。

提出的方法

• 采用对比学习目标，将来自MEG/EEG的深层脑活动表征与wav2vec 2.0模型生成的自监督语音嵌入对齐，该模型已在56,000小时语音数据上预训练。
• 在175名受试者上联合训练一个共享的多受试者卷积神经网络（含“受试者层”），以实现个体间泛化并减少个体间差异。
• 模型以3秒MEG/EEG段作为输入，预测来自预训练wav2vec 2.0模型的相应上下文语音表征。
• 解码器被训练以最大化匹配音频段的脑活动与语音嵌入之间的相似性，同时最小化不匹配对之间的相似性。
• 该方法采用对比损失函数，促使模型从噪声大、非侵入性的记录中学习到鲁棒且解耦的感知言语表征。
• 该方法整合了四个公开的M/EEG数据集，共涉及175名受试者，记录内容包括短篇故事和孤立句子。

实验结果

研究问题

• RQ1 是否可以训练一个单一深度学习模型，使其在大规模健康受试者群体上，从非侵入性MEG和EEG信号中解码感知言语？
• RQ2 在使用自监督语音表征和多受试者训练时，对比学习是否能提升解码性能？
• RQ3 模型的预测在多大程度上依赖于词汇和语义特征，而非低层次的声学特征？
• RQ4 模型能否泛化至训练过程中未见过的词语和短语的零样本解码？
• RQ5 MEG与EEG之间性能差异在多大程度上反映了信号质量差异和脑源定位限制？

主要发现

• 该模型在3秒MEG数据中对受试者群体的正确语音片段识别实现了高达41%的top-1准确率，最佳个体的准确率超过80%。
• MEG的top-10准确率达到72.5%（共1,594个片段），EEG为19.1%（共2,604个片段），表明对未见词语和短语具有鲁棒的零样本解码能力。
• 通过采用对比学习目标、预训练语音表征以及联合训练的多受试者卷积架构，模型性能显著提升。
• 对解码器预测的分析表明，模型主要依赖于高层次的词汇和上下文语义表征，而非低层次的声学特征。
• MEG的性能显著优于EEG，MEG的top-10准确率是EEG的3.8倍，凸显了信号质量对解码性能的决定性影响。
• 模型在孤立词语上的表现（平均top-1准确率为22.7%，最佳受试者达42.9%）与侵入式方法相当（例如，[66]中为39.5%），表明其在临床转化方面具有强大潜力。