[论文解读] DreamCatcher: Revealing the Language of the Brain with fMRI using GPT Embedding

Subhrasankar Chatterjee, Debasis Samanta|arXiv (Cornell University)|Jun 16, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了DreamCatcher，一种新颖的fMRI字幕生成框架，通过表示空间编码器（RSE）将fMRI脑活动映射到1536维的GPT嵌入空间，并利用反向嵌入解码器生成自然语言字幕。该方法在从fMRI数据生成语义连贯且上下文相关的字幕方面表现出色，证明了使用预训练语言模型嵌入作为脑部表征空间以解码视觉感知的可行性。

ABSTRACT

The human brain possesses remarkable abilities in visual processing, including image recognition and scene summarization. Efforts have been made to understand the cognitive capacities of the visual brain, but a comprehensive understanding of the underlying mechanisms still needs to be discovered. Advancements in brain decoding techniques have led to sophisticated approaches like fMRI-to-Image reconstruction, which has implications for cognitive neuroscience and medical imaging. However, challenges persist in fMRI-to-image reconstruction, such as incorporating global context and contextual information. In this article, we propose fMRI captioning, where captions are generated based on fMRI data to gain insight into the neural correlates of visual perception. This research presents DreamCatcher, a novel framework for fMRI captioning. DreamCatcher consists of the Representation Space Encoder (RSE) and the RevEmbedding Decoder, which transform fMRI vectors into a latent space and generate captions, respectively. We evaluated the framework through visualization, dataset training, and testing on subjects, demonstrating strong performance. fMRI-based captioning has diverse applications, including understanding neural mechanisms, Human-Computer Interaction, and enhancing learning and training processes.

研究动机与目标

• 解决fMRI到图像重建的局限性，后者往往无法捕捉全局上下文和高层场景语义。
• 提出fMRI字幕生成作为图像重建的互补方法，通过自然语言解释神经活动。
• 验证1536维GPT嵌入作为fMRI数据有意义潜在表征空间的适用性。
• 开发一种能够直接从fMRI响应生成语义准确且语法连贯字幕的框架。

提出的方法

• 表示空间编码器（RSE）使用训练有素的神经网络架构，将预处理后的fMRI向量映射到1536维潜在空间，使其与预训练的GPT嵌入对齐。
• 反向嵌入解码器是一种一对一多序列的生成模型，能够从1536维GPT嵌入表示中生成自然语言字幕。
• 该框架采用基于人工标注字幕的对比损失来优化生成过程，确保生成结果与参考描述在语义上一致。
• 模型在自然场景数据集（NSD）上进行训练和评估，使用8名受试者在观看视觉刺激时的fMRI数据。
• 应用主成分分析（PCA）和t-SNE可视化学习到的表征空间，评估神经模式的聚类情况。
• 评估指标包括METEOR、句级相似度和困惑度，用于评估字幕的质量与连贯性。

Figure 1 : Illustrative example of current issues with fMRI-to-Image reconstruction. First reconstruction example successfully captures the low-level features however misses the high-level features. Second reconstruction example is adequate at a object-level replication, however misses the context i

实验结果

研究问题

• RQ1 fMRI数据能否被有效映射到预训练语言模型的嵌入空间，以实现有意义的字幕生成？
• RQ2 所提出的DreamCatcher框架能否生成在语义和语法上均与人工标注参考字幕一致的字幕？
• RQ3 1536维GPT嵌入空间能否捕捉并区分视觉刺激的显著特征和上下文属性？
• RQ4 该框架在跨受试者生成上下文准确描述方面表现如何？
• RQ5 RSE学习到的表征空间在多大程度上表现出相似视觉刺激的有意义聚类？

主要发现

• DreamCatcher框架在所有测试受试者中均取得了优异的METEOR得分，表明生成字幕与参考字幕高度一致。
• 句级相似度指标表明，生成的字幕在语法和语义上均接近人工标注描述，证实了其连贯性与相关性。
• 通过PCA和t-SNE的可视化显示，GPT嵌入空间中表征呈现清晰聚类，表明模型有效捕捉了底层视觉特征与上下文关系。
• 可行性测试证实，基于fMRI的字幕生成是可行的，生成的字幕不仅捕捉了显著物体，还包含了超越低级特征的上下文信息。
• 反向嵌入解码器成功从单一fMRI嵌入生成一对多的字幕序列，展示了模型生成丰富、描述性输出的能力。
• 与基于片段的重建方法相比，该框架在上下文保真度方面表现更优，生成字幕中未出现碎片化或不连贯的特征。

Figure 2 : fMRI-Captioning: Subject is presented with an image stimulus and fMRI Neural Responses were captured. Given an fMRI response, the task is to predict captions based on the visual stimulus.