[论文解读] Brain2Word: Decoding Brain Activity for Language Generation

Nicolas Affolter, Béni Egressy+2 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling参考文献 27被引用 14

一句话总结

该论文提出 Brain2Word，一种神经自编码器模型，可直接将 fMRI 扫描分类为固定词汇表中的特定词汇，在未见过的受试者上实现了 5.22% 的 Top-1 准确率和 13.59% 的 Top-5 准确率，显著优于基线模型。此外，该研究进一步表明，解码出的词汇可引导 GPT-2 生成连贯且主题相关的文本，推动了将脑活动转化为自然语言的目标。

ABSTRACT

Brain decoding, understood as the process of mapping brain activities to the stimuli that generated them, has been an active research area in the last years. In the case of language stimuli, recent studies have shown that it is possible to decode fMRI scans into an embedding of the word a subject is reading. However, such word embeddings are designed for natural language processing tasks rather than for brain decoding. Therefore, they limit our ability to recover the precise stimulus. In this work, we propose to directly classify an fMRI scan, mapping it to the corresponding word within a fixed vocabulary. Unlike existing work, we evaluate on scans from previously unseen subjects. We argue that this is a more realistic setup and we present a model that can decode fMRI data from unseen subjects. Our model achieves 5.22% Top-1 and 13.59% Top-5 accuracy in this challenging task, significantly outperforming all the considered competitive baselines. Furthermore, we use the decoded words to guide language generation with the GPT-2 model. This way, we advance the quest for a system that translates brain activities into coherent text.

研究动机与目标

• 解决现有脑解码模型依赖受试者特异性预处理且无法泛化到未见受试者的问题。
• 提出一种更真实且更具挑战性的评估设置：在训练期间不访问测试受试者数据的情况下，直接将 fMRI 扫描分类为离散词汇。
• 通过将大语言模型基于解码的脑信号进行条件控制，弥合脑解码与实际语言生成之间的鸿沟。
• 证明 fMRI 解码可有效引导类似 GPT-2 的大语言模型生成连贯、主题相关的内容，同时保持流畅性和相关性。

提出的方法

• 训练一个神经自编码器模型，将完整的 fMRI 扫描直接映射到固定词汇表中预定义的 v 个词汇之一。
• 仅使用感兴趣区域（ROIs）作为最小的外部知识，使模型能够学习跨受试者的可泛化特征。
• 在 n−1 名受试者的 fMRI 数据上应用自监督预训练阶段，以提升对未见受试者的泛化能力。
• 使用 fMRI 扫描解码出的 Top-5 词汇作为锚定标记，对 GPT-2 语言生成进行条件控制，以引导主题一致性。
• 每轮生成 30 个标记，通过困惑度、词数和相关词汇等指标，比较有无 fMRI 条件控制下的性能表现。
• 对每个 fMRI 扫描使用 10 个随机初始上下文，以确保对生成质量与主题一致性的稳健评估。

实验结果

研究问题

• RQ1 尽管受试者之间脑部解剖结构和扫描对齐存在差异，深度学习模型是否能将 fMRI 到词汇的解码泛化到训练期间未见的受试者？
• RQ2 与基于词嵌入相似性或成对分类的方法相比，直接将 fMRI 扫描分类为离散词汇是否更具优势？
• RQ3 解码出的脑活动是否能有效引导类似 GPT-2 的大语言模型生成连贯且主题相关的文本？
• RQ4 基于解码脑信号对语言生成进行条件控制，是否能在不降低流畅性或困惑度的前提下提升语义相关性？

主要发现

• 所提出的模型在未见过的受试者上对固定词汇表中的特定词汇进行 fMRI 解码，实现了 5.22% 的 Top-1 准确率和 13.59% 的 Top-5 准确率，显著优于所有基线模型。
• 由于采用了自监督预训练并最小化对受试者特异性预处理的依赖，该模型在受试者之间具有良好的泛化能力。
• 基于 fMRI 扫描解码出的 Top-5 词汇对语言生成进行条件控制后，平均词数从基线的 0.00 上升至 0.52，相关词汇数从 0.04 上升至 1.02，表明主题引导效果显著。
• 当使用基于 fMRI 的锚定控制时，困惑度从基线的 89.24 降低至 50.64，表明生成内容与目标主题的对齐性更好，且低概率词汇的生成减少。
• 定性分析表明，生成的文本保持流畅且连贯，当锚定正确时，目标词汇会出现在输出中。
• 结果验证了 fMRI 解码可作为可靠信号用于条件化语言生成，为实现实时脑到文本系统奠定了基础。