[论文解读] MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion

Yizhuo Lu, Changde Du+2 more|arXiv (Cornell University)|Mar 24, 2023

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

MindDiffuser 是一种两阶段扩散模型，通过结合 CLIP 文本嵌入、VQ-VAE 潜在表示和 CLIP 视觉特征，从 fMRI 数据中重建出语义准确且结构对齐的图像。它通过反向传播进行迭代优化，联合提升语义一致性和结构保真度，在 Natural Scenes Dataset (NSD) 上实现了最先进性能。

ABSTRACT

Reconstructing visual stimuli from measured functional magnetic resonance imaging (fMRI) has been a meaningful and challenging task. Previous studies have successfully achieved reconstructions with structures similar to the original images, such as the outlines and size of some natural images. However, these reconstructions lack explicit semantic information and are difficult to discern. In recent years, many studies have utilized multi-modal pre-trained models with stronger generative capabilities to reconstruct images that are semantically similar to the original ones. However, these images have uncontrollable structural information such as position and orientation. To address both of the aforementioned issues simultaneously, we propose a two-stage image reconstruction model called MindDiffuser, utilizing Stable Diffusion. In Stage 1, the VQ-VAE latent representations and the CLIP text embeddings decoded from fMRI are put into the image-to-image process of Stable Diffusion, which yields a preliminary image that contains semantic and structural information. In Stage 2, we utilize the low-level CLIP visual features decoded from fMRI as supervisory information, and continually adjust the two features in Stage 1 through backpropagation to align the structural information. The results of both qualitative and quantitative analyses demonstrate that our proposed model has surpassed the current state-of-the-art models in terms of reconstruction results on Natural Scenes Dataset (NSD). Furthermore, the results of ablation experiments indicate that each component of our model is effective for image reconstruction.

研究动机与目标

• 解决从 fMRI 信号生成语义准确且结构精确的图像重建的双重挑战。
• 克服先前方法的局限：优化模型缺乏语义丰富性，而生成模型缺乏结构控制。
• 在 fMRI 响应存在个体间差异的情况下，实现稳健的、与受试者无关的图像重建。
• 利用多模态预训练模型（CLIP、Stable Diffusion）提升重建质量和可控性。

提出的方法

• 第一阶段将 fMRI 解码为 CLIP 文本嵌入（c）和 VQ-VAE 潜在码（z），并对 z 注入噪声以形成 z_T 用于扩散过程。
• 在 Stable Diffusion 的图像到图像去噪过程中使用交叉注意力机制，融合 c 和 z_T，生成包含语义与细节信息的初始图像。
• 第二阶段利用从 fMRI 解码出的 CLIP 低层视觉特征作为监督信号，指导反向传播。
• 通过反向传播持续优化潜在特征（c 和 z），使重建图像的结构与原始图像对齐。
• 采用两阶段训练-free 推理流程：首先生成语义合理的图像，然后通过基于梯度的优化改进其结构。
• 使用 VQ-VAE 实现离散潜在表示，利用 Stable Diffusion 实现具有条件控制的高保真图像生成。

实验结果

研究问题

• RQ1 基于扩散的模型能否在 fMRI 到图像的重建中同时实现高语义保真度与高结构保真度？
• RQ2 CLIP 文本与视觉特征的融合在引导 fMRI 图像生成方面有多有效？
• RQ3 细粒度潜在细节（z）在多大程度上影响优化稳定性与重建质量？
• RQ4 尽管存在个体间 fMRI 差异，该模型能否在无需微调或再训练的情况下实现跨受试者的泛化？
• RQ5 与端到端优化或随机 z 初始化相比，两阶段优化过程在重建质量上表现如何？

主要发现

• MindDiffuser 在 Natural Scenes Dataset (NSD) 上的定性与定量评估中均优于最先进模型。
• 消融实验证实，CLIP 文本特征（c）与解码出的低层视觉特征均对高质量重建至关重要。
• VQ-VAE 潜在码 z 的随机初始化会导致次优收敛，而使用解码出的 z 能实现稳定且精确的优化。
• 该模型在无需任何受试者特定适配的情况下，成功实现了受试者 1、2、5 和 7 的语义与结构对齐重建。
• 对复杂刺激如“日落时的飞机”和“浴室”的重建在形状、方向与语义内容上均表现出高保真度。
• 将 CLIP 视觉特征用作监督信号显著提升了结构对齐效果，尤其在优化初期表现更明显。