[论文解读] Cinematic Mindscapes: High-quality Video Reconstruction from Brain Activity

Zijiao Chen, Jiaxin Qing+1 more|arXiv (Cornell University)|May 19, 2023

Functional Brain Connectivity Studies被引用 20

一句话总结

MinD-Video 通过将 fMRI 编码器与增强的稳定扩散视频生成器分离、使用渐进、多模态与对抗性引导，从 fMRI 重建高质量、语义上有意义的视频。它在实现最先进的语义准确性和具有竞争力的像素保真度的同时，通过注意力图实现可解释性。

ABSTRACT

Reconstructing human vision from brain activities has been an appealing task that helps to understand our cognitive process. Even though recent research has seen great success in reconstructing static images from non-invasive brain recordings, work on recovering continuous visual experiences in the form of videos is limited. In this work, we propose Mind-Video that learns spatiotemporal information from continuous fMRI data of the cerebral cortex progressively through masked brain modeling, multimodal contrastive learning with spatiotemporal attention, and co-training with an augmented Stable Diffusion model that incorporates network temporal inflation. We show that high-quality videos of arbitrary frame rates can be reconstructed with Mind-Video using adversarial guidance. The recovered videos were evaluated with various semantic and pixel-level metrics. We achieved an average accuracy of 85% in semantic classification tasks and 0.19 in structural similarity index (SSIM), outperforming the previous state-of-the-art by 45%. We also show that our model is biologically plausible and interpretable, reflecting established physiological processes.

研究动机与目标

• 理解如何从非侵入性脑活动（fMRI）重建连续视觉体验（视频）。
• 开发一个两模块管线，将 fMRI 编码与视频生成分离，以提高质量和灵活性。
• 利用渐进、多模态学习与时间注意力弥合 fMRI 的时间分辨率差距。
• 以 Stable Diffusion 为基础的视频生成器，增加场景动态注意力和对抗性引导，以提升保真度。

提出的方法

• 两模块管线：分别独立训练 fMRI 编码器与增强的 Stable Diffusion 视频生成器，然后进行共同训练。
• 渐进学习：先进行大规模 MBM 预训练，然后在窗口化 fMRI 上进行带时空注意力的多模态对比学习。
• 时空注意力以处理滑动窗口 fMRI 并考虑血流动力学延迟。
• 增强的 Stable Diffusion，具备场景动态稀疏 CA（SC）注意力，以在考虑场景变化的同时对前帧进行条件化。
• 通过负条件引导实现对抗性引导，以提升 fMRI 条件采样质量。
• 以可解释性方式从脑数据中学习：可视化注意力图，将解码器策略映射到脑网络。

Figure 1 : Brain decoding & video reconstruction . We propose a progressive learning approach to recover continuous visual experience from fMRI. High-quality videos with accurate semantics and motions are reconstructed.

实验结果

研究问题

• RQ1 即使存在 HRF 延迟，是否可以以任意帧率从 fMRI 重建连续的视频内容？
• RQ2 将渐进、多模态 fMRI 编码与共同训练的视频生成器结合，是否在语义和像素级保真度上优于先前方法？
• RQ3 对抗性引导如何影响条件化的有效性和生成视频的多样性？
• RQ4 注意力图揭示了哪些脑区和网络在解码的视觉内容中发挥作用？

主要发现

• 该方法在视频内容的语义分类准确率达到 85% 并且 SSIM 为 0.19，较前一代方法领先约 45%。
• 该方法在跨受试者上生成高质量视频，运动和场景动态准确。
• 注意力分析显示视觉皮层占主导，同时来自更高认知网络的贡献，与生物学的可行性保持一致。
• 渐进学习阶段体现从局部到全局的视觉特征转变，后期层专注于抽象语义信息。
• 消融研究显示窗口大小、多模态对比学习，以及对抗性引导对性能的重要性。
• 该框架能够重建多样化场景和运动，包括场景转换，同时保持帧的一致性。

Figure 2 : MinD-Video Overview . Our method has two modules that are trained separately, then finetuned together. The fMRI encoder progressively learns fMRI features through multiple stages, including SC-MBM pre-training and multimodal contrastive learning. A spatiotemporal attention is designed to