[论文解读] Learning Brain Representation with Hierarchical Visual Embeddings

Jiawen Zheng, Haonan Jia+5 more|arXiv (Cornell University)|Feb 7, 2026

Face Recognition and Perception被引用 0

一句话总结

本论文提出了一种基于融合的脑–视觉接口，将EEG/MEG信号与来自多种预训练编码器的分层视觉嵌入对齐，并使用预训练的融合先验实现鲁棒的脑对图像检索与重建，无需文本提示。

ABSTRACT

Decoding visual representations from brain signals has attracted significant attention in both neuroscience and artificial intelligence. However, the degree to which brain signals truly encode visual information remains unclear. Current visual decoding approaches explore various brain-image alignment strategies, yet most emphasize high-level semantic features while neglecting pixel-level details, thereby limiting our understanding of the human visual system. In this paper, we propose a brain-image alignment strategy that leverages multiple pre-trained visual encoders with distinct inductive biases to capture hierarchical and multi-scale visual representations, while employing a contrastive learning objective to achieve effective alignment between brain signals and visual embeddings. Furthermore, we introduce a Fusion Prior, which learns a stable mapping on large-scale visual data and subsequently matches brain features to this pre-trained prior, thereby enhancing distributional consistency across modalities. Extensive quantitative and qualitative experiments demonstrate that our method achieves a favorable balance between retrieval accuracy and reconstruction fidelity.

研究动机与目标

• 通过捕捉从像素级到语义表示的多尺度视觉信息，推动从脑信号解码视觉内容的研究。
• 提出一个层次化视觉融合（HVF）框架，整合多种预训练编码器，形成与脑信号对齐的融合视觉嵌入。
• 引入一个融合先验，将融合特征映射到扩散条件以实现稳定的无文本重建。
• 在THINGS-EEG和THINGS-MEG数据集上，展示相较于现有方法在200类别零-shot检索和重建质量方面的提升。

提出的方法

• 使用多个基于CLIP的编码器提取高级语义信息，使用VAE编码器提取每个图像的低级像素特征。
• 通过后归一化的残差HVF对编码器输出进行融合，生成共享的视觉嵌入z_f。
• 通过MBP网络将大脑信号投影到大脑嵌入z_b，并使用CLIP风格的InfoNCE损失将z_b与z_f对齐。
• 预训练一个融合先验，将z_f映射到扩散条件z_c，使用冻结的扩散骨干（IP-Adapter）实现无文本重建。
• 在重建阶段，冻结视觉编码器和融合先验；仅训练大脑端以对齐融合空间；在条件z_c下进行扩散生成。

(a) Brain-to-image retrieval.

实验结果

研究问题

• RQ1 脑信号（EEG/MEG）是否能够与同时覆盖语义与像素层信息的融合层次视觉表示对齐？
• RQ2 引入低级视觉特征是否会提升脑对图像的检索与重建保真度？
• RQ3 在冻结的扩散模型下，学习得到的融合先验是否能够实现稳健、无文本的脑驱动嵌入重建？
• RQ4 提出的HVF+融合先验方法是否对不同被试及脑编码器骨干具有鲁棒性，适用于零-shot检索？
• RQ5 各视觉编码器（语义与像素层）对解码性能的相对贡献是多少？

主要发现

• 所提出的方法在THINGS-EEG和THINGS-MEG上实现了最先进的200类别零-shot脑–图像检索，在同一受试者与跨受试者设置中均显著优于现有方法。
• 将基于CLIP的语义编码器与基于VAE的低级像素编码器融合，获得最佳检索性能，优于单一编码器及简单配对。
• 在重建方面，融合先验使得以脑信号嵌入为条件时生成的图像具有稳定且高保真度，在PixCorr、SSIM等指标上有量化提升，并具备强语义对齐。
• 消融研究表明同时整合高级语义与低级像素信息（RN50+B32+VAE）相较仅使用语义或像素配置带来最大改进。
• 将不同的EEG/MEG脑骨干嵌入相同的基于融合的接口时，检索性能稳定提升，说明具备良好的即插即用泛化能力。

(b) Brain-to-image reconstruction.