[论文解读] Improving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputs

Yu Takagi, Shinji Nishimoto|arXiv (Cornell University)|Jun 20, 2023

Advanced Neuroimaging Techniques and Applications被引用 7

一句话总结

该论文通过将潜在扩散模型（Stable Diffusion）与来自大脑活动的多种解码输入——文本字幕、GAN生成图像和深度图——相结合，提升了从人类fMRI数据重建视觉图像的效果。该方法在不同受试者中显著提高了重建准确性，当结合三种解码技术时，平均双向识别准确率从74.3%提升至86.4%。

ABSTRACT

The integration of deep learning and neuroscience has been advancing rapidly, which has led to improvements in the analysis of brain activity and the understanding of deep learning models from a neuroscientific perspective. The reconstruction of visual experience from human brain activity is an area that has particularly benefited: the use of deep learning models trained on large amounts of natural images has greatly improved its quality, and approaches that combine the diverse information contained in visual experiences have proliferated rapidly in recent years. In this technical paper, by taking advantage of the simple and generic framework that we proposed (Takagi and Nishimoto, CVPR 2023), we examine the extent to which various additional decoding techniques affect the performance of visual experience reconstruction. Specifically, we combined our earlier work with the following three techniques: using decoded text from brain activity, nonlinear optimization for structural image reconstruction, and using decoded depth information from brain activity. We confirmed that these techniques contributed to improving accuracy over the baseline. We also discuss what researchers should consider when performing visual reconstruction using deep generative models trained on large datasets. Please check our webpage at https://sites.google.com/view/stablediffusion-with-brain/. Code is also available at https://github.com/yu-takagi/StableDiffusionReconstruction.

研究动机与目标

• 通过深度生成模型，提升从人类fMRI数据中重建视觉图像的质量与准确性。
• 研究整合多种解码大脑活动信号（文本、结构图像和深度）对重建性能的影响。
• 在统一且可泛化的框架中，为评估每种解码技术的贡献提供定量基准。
• 评估大规模训练数据集（如LAION-5B）可能引入的数据泄露伪影对fMRI到图像重建任务的影响。
• 为研究人员在神经影像应用中使用大规模生成模型提供方法论指导。

提出的方法

• 改编先前框架[30]，利用fMRI生成的CLIP嵌入作为条件，驱动Stable Diffusion进行图像生成。
• 引入基于BLIP的文本解码，训练模型从fMRI活动预测自然语言字幕，并将这些字幕用作Stable Diffusion的文本提示。
• 采用基于GAN的图像重建方法，从fMRI中生成结构图像先验，并将其与扩散模型的潜在空间融合。
• 通过专用回归模型从fMRI中解码深度图，增强重建图像的三维结构一致性。
• 将三种解码输入（文本、GAN图像、深度）作为多模态条件信号，整合到潜在扩散过程中。
• 采用Inception-v3、CLIP和AlexNet特征的双向识别准确率，评估多种指标和受试者下的重建保真度。

Figure 1 : Schematic of the approach in this paper, including ( a ) our earlier work [ 30 ] and ( b – d ) with three additional techniques.

实验结果

研究问题

• RQ1 与基线CLIP嵌入条件相比，从大脑活动解码出的文本在多大程度上提升了视觉图像重建的质量？
• RQ2 从fMRI活动生成的GAN图像先验如何影响重建图像的真实感和结构保真度？
• RQ3 从大脑活动解码出的深度信息对重建图像的感知质量和准确性有何贡献？
• RQ4 多种解码技术的综合效果在不同受试者和评估指标下如何比较？
• RQ5 训练数据集（如LAION-5B）中的数据泄露在多大程度上可能偏倚fMRI到图像重建性能的评估？

主要发现

• 通过BLIP从大脑活动解码出的文本，使平均双向识别准确率在所有受试者中提升了12.6个百分点（从74.3%提升至88.5%）。
• 增加GAN生成的图像先验后，准确率进一步提高，最佳方法（+T+G）在使用Inception-v3特征时达到86.4%的平均准确率。
• 从fMRI活动解码出的深度信息带来了适度但稳定的改进，尤其在结构一致性方面，准确率平均提升至84.3%。
• 该方法对潜在的数据泄露具有鲁棒性：排除LAION-5B中的图像后，定量结果未发生改变，使用Inception-v3的识别准确率稳定在74.3%（原）和74.5%（新）。
• 不同受试者和特征提取器之间的改进程度存在差异，表明每种解码技术的有效性并非一致，而是取决于个体神经表征模式。
• 三种解码技术的组合（+T+G+D）实现了最高的平均准确率（使用Inception-v3时为84.3%），表明多模态脑信号整合带来了协同增益。

Figure 2 : Examples of the presented (red box) and reconstructed images using various methods. The decoded text, image produced by GAN, and decoded depth are shown below the reconstructed image.