[论文解读] MindGPT: Interpreting What You See with Non-invasive Brain Recordings

Jiaxuan Chen, Qi Yu+2 more|arXiv (Cornell University)|Sep 27, 2023

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

MindGPT 是一种非侵入性神经解码器，通过利用带有交叉注意力机制的视觉-语言对比编码器和 GPT-2，将 fMRI 脑信号端到端地翻译为视觉刺激的自然语言描述。它仅使用高级视觉皮层（HVC）信号，即可实现视觉内容的高保真语义重建，表明 HVC 携带了大部分语义信息，且视觉线索通过注意力驱动的显著性图引导解码过程。

ABSTRACT

Decoding of seen visual contents with non-invasive brain recordings has important scientific and practical values. Efforts have been made to recover the seen images from brain signals. However, most existing approaches cannot faithfully reflect the visual contents due to insufficient image quality or semantic mismatches. Compared with reconstructing pixel-level visual images, speaking is a more efficient and effective way to explain visual information. Here we introduce a non-invasive neural decoder, termed as MindGPT, which interprets perceived visual stimuli into natural languages from fMRI signals. Specifically, our model builds upon a visually guided neural encoder with a cross-attention mechanism, which permits us to guide latent neural representations towards a desired language semantic direction in an end-to-end manner by the collaborative use of the large language model GPT. By doing so, we found that the neural representations of the MindGPT are explainable, which can be used to evaluate the contributions of visual properties to language semantics. Our experiments show that the generated word sequences truthfully represented the visual information (with essential details) conveyed in the seen stimuli. The results also suggested that with respect to language decoding tasks, the higher visual cortex (HVC) is more semantically informative than the lower visual cortex (LVC), and using only the HVC can recover most of the semantic information. The code of the MindGPT model will be publicly available at https://github.com/JxuanC/MindGPT.

研究动机与目标

• 开发一种非侵入性脑机接口，利用 fMRI 将视觉感知翻译为自然语言。
• 解决图像重建方法的局限性，后者常产生模糊或语义不匹配的输出。
• 探究是否可以利用脑活动生成语义准确、语法正确的视觉刺激自然语言描述。
• 探索视觉注意和显著性在引导 fMRI 信号语义解码中的作用。
• 确定哪些脑区——尤其是视觉皮层中的区域——在语言解码中对语义表征贡献最大。

提出的方法

• 使用带有交叉注意力层的 CLIP 引导 fMRI 编码器，将脑活动模式与视觉和语言嵌入在共享潜在空间中对齐。
• 该模型采用 GPT-2 作为文本生成器，基于 fMRI 编码表示生成流畅连贯的语言序列。
• 交叉注意力机制使模型能够关注与生成文本中特定语义概念相对应的相关脑区。
• 该框架通过对比学习进行端到端训练，以对齐 fMRI 表征与对应的 CLIP 嵌入图像块及 GPT-2 生成的字幕。
• 通过 fMRI 编码类别嵌入与 CLIP 图像块嵌入之间的余弦相似度，无监督地推断视觉显著性。
• 模型使用人工标注的图像字幕进行评估，并与视觉重建基线方法（如 VQ-fMRI 和 MinD-Vis）进行比较。

实验结果

研究问题

• RQ1 仅依靠 fMRI 信号（无需侵入性记录），能否生成准确且语义有意义的视觉刺激自然语言描述？
• RQ2 视觉皮层中的低级（LVC）或高级（HVC）区域，哪个在语言生成中的语义解码中贡献更大？
• RQ3 从 fMRI-CLIP 相似度图中推断出的视觉注意机制，在多大程度上引导了生成语言的语义内容？
• RQ4 在仅使用有限 fMRI 训练数据且无显式注意力监督的情况下，模型能否在多样化视觉刺激上实现泛化？
• RQ5 脑源表征与非模态语义图之间有何关系？能否用于重建语言中的概念意义？

主要发现

• MindGPT 能够成功生成准确反映视觉刺激关键视觉细节的自然语言描述，在语义保真度上优于图像重建基线方法。
• 仅高级视觉皮层（HVC）就包含足够的神经信息，以恢复视觉刺激的大部分语义内容，其表现优于低级视觉皮层（LVC）。
• 从 fMRI-CLIP 相似度推断出的视觉显著性图与解码出的语言内容（如“piano”、“airplane”或“beach”）高度一致，表明解码过程受注意力驱动。
• 解码错误（如错误的颜色标注：“黑白照片”）可追溯至 fMRI 表征中注意力定位错误，证实显著性在语义偏差中的作用。
• MindGPT 的潜在表征表现出局部敏感特性，与视觉处理层级结构的已知神经科学发现一致。
• 即使训练数据有限，该模型仍展现出捕捉与任务相关视觉线索的涌现能力，表明其语义表征具有稳健的泛化能力。