[논문 리뷰] Learning Brain Representation with Hierarchical Visual Embeddings

Jiawen Zheng, Haonan Jia외 5명|arXiv (Cornell University)|2026. 02. 07.

Face Recognition and Perception인용 수 0

한 줄 요약

이 논문은 다중 사전 학습된 인코더의 계층적 시각 임베딩과 EEG/MEG 신호를 정렬하는 융합 기반 뇌-시각 인터페이스를 제시하고, 사전 학습된 융합 프라이어를 사용하여 텍스트 프롬프트 없이도 강력한 뇌-이미지 검색 및 재구성을 가능하게 한다.

ABSTRACT

Decoding visual representations from brain signals has attracted significant attention in both neuroscience and artificial intelligence. However, the degree to which brain signals truly encode visual information remains unclear. Current visual decoding approaches explore various brain-image alignment strategies, yet most emphasize high-level semantic features while neglecting pixel-level details, thereby limiting our understanding of the human visual system. In this paper, we propose a brain-image alignment strategy that leverages multiple pre-trained visual encoders with distinct inductive biases to capture hierarchical and multi-scale visual representations, while employing a contrastive learning objective to achieve effective alignment between brain signals and visual embeddings. Furthermore, we introduce a Fusion Prior, which learns a stable mapping on large-scale visual data and subsequently matches brain features to this pre-trained prior, thereby enhancing distributional consistency across modalities. Extensive quantitative and qualitative experiments demonstrate that our method achieves a favorable balance between retrieval accuracy and reconstruction fidelity.

연구 동기 및 목표

• 픽셀 수준에서 의미 표현에 이르기까지 다중 규모 시각 정보를 포착하여 뇌 신호로부터 시각 콘텐츠를 해독하는 동기를 부여한다.
• 뇌 신호에 맞춰 융합된 시각 임베딩을 형성하도록 여러 사전 학습 인코더를 통합하는 계층적 시각 융합(HVF) 프레임워크를 제안한다.
• 융합된 시각 특성을 확산 조건으로 매핑하는 Fusion Prior를 도입하여 안정적이고 텍스트 없는 이미지 재구성을 가능하게 한다.
• 이전 방법들에 비해 THINGS-EEG 및 THINGS-MEG 데이터셋에서 200-way 제로샷 검색 및 재구성 품질이 향상되었음을 입증한다.

제안 방법

• 각 이미지에 대해 다중 CLIP 기반 인코더로 고수준 의미를 추출하고 VAE 인코더를 사용하여 저수준 픽셀 특징을 추출한다.
• 포스트 노름 잔차 HVF를 사용하여 인코더 출력을 융합하여 공유 시각 임베딩 z_f를 생성한다.
• 뇌 신호를 MBP 네트워크를 통해 뇌 임베딩 z_b로 투사하고, z_b를 z_f와 CLIP 스타일의 InfoNCE 손실로 정렬한다.
• 고정된 확산 백본(IP-Adapter)을 사용하여 z_f를 확산 조건 z_c로 매핑하는 Fusion Prior를 사전 학습하여 텍스트 없는 재구성을 가능하게 한다.
• 재구성 도중 시각 인코더와 융합 프라이어를 고정하고 뇌 쪽만 학습하여 융합 공간에 정렬되도록 한다; z_c로 조건화된 확산 생성 사용.

(a) Brain-to-image retrieval.

실험 결과

연구 질문

• RQ1 뇌 신호(E EEG/MEG)가 의미 및 픽셀 수준 정보를 아우르는 융합된 계층적 시각 표현과 정렬될 수 있는가?
• RQ2 고수준 의미뿐만 아니라 저수준 시각 특징의 도입이 뇌-이미지 검색 및 재구성 정밀도를 향상시키는가?
• RQ3 학습된 Fusion Prior가 고정된 확산 모델을 사용하여 뇌 기반 임베딩으로 텍스트 없는 이미지 재구성을 안정적으로 가능하게 하는가?
• RQ4 동일한 융합 기반 인터페이스에 서로 다른 EEG/MEG 뇌 백본을 연결했을 때 제로샷 검색 성능에 대한 로버스트한 범용성을 보여주는가?
• RQ5 각 시각 인코더(시맨틱 대 픽셀 수준)의 상대적 기여도는 재해석 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 THINGS-EEG 및 THINGS-MEG에서 200-way 제로샷 뇌-이미지 검색에서 최첨단 성능을 달성하고, 같은 주체 내외 설정 모두에서 이전 방법 대비 상당한 이득을 얻는다.
• CLIP 기반 시맨틱 인코더와 VAE 기반 저수준 인코더(VAE)의 융합이 최고의 검색 성능을 낳아 단일 인코더나 단순 조합보다 우수하다.
• 재구성에서 Fusion Prior는 뇌로부터 얻은 임베딩으로 조건화될 때 안정적이고 고충실도 이미지를 생성하게 하며 PixCorr와 SSIM의 정량적 이득 및 강한 시맨틱 정렬 지표를 보인다.
• 절제 분석은 고수준 의미와 저수준 픽셀 정보를 모두 통합(RN50+B32+VAE)하는 것이 의미론만 또는 픽셀만 구성보다 가장 큰 향상을 제공함을 보여준다.
• 다른 EEG/MEG 뇌 백본을 동일한 융합 기반 인터페이스에 연결하면 검색 성능이 일관되게 향상되어 플러그 앤 플레이 일반화가 좋음을 시사한다.

(b) Brain-to-image reconstruction.