[논문 리뷰] Toward High-Fidelity Visual Reconstruction: From EEG-Based Conditioned Generation to Joint-Modal Guided Rebuilding

Zijun Gong, Tianren Yao외 2명|arXiv (Cornell University)|2026. 03. 20.

EEG and Brain-Computer Interfaces인용 수 0

한 줄 요약

JMVR은 EEG와 텍스트를 서로 독립된 모달리티로 취급하여 EEG 신호로부터 고충실도 시각물을 재구성하는 공동 모달 프레임워크를 도입하며, THINGS-EEG에서 최첨단 성능을 달성한다.

ABSTRACT

Human visual reconstruction aims to reconstruct fine-grained visual stimuli based on subject-provided descriptions and corresponding neural signals. As a widely adopted modality, Electroencephalography (EEG) captures rich visual cognition information, encompassing complex spatial relationships and chromatic details within scenes. However, current approaches are deeply coupled with an alignment framework that forces EEG features to align with text or image semantic representation. The dependency may condense the rich spatial and chromatic details in EEG that achieved mere conditioned image generation rather than high-fidelity visual reconstruction. To address this limitation, we propose a novel Joint-Modal Visual Reconstruction (JMVR) framework. It treats EEG and text as independent modalities for joint learning to preserve EEG-specific information for reconstruction. It further employs a multi-scale EEG encoding strategy to capture both fine- and coarse-grained features, alongside image augmentation to enhance the recovery of perceptual details. Extensive experiments on the THINGS-EEG dataset demonstrate that JMVR achieves SOTA performance against six baseline methods, specifically exhibiting superior capabilities in modeling spatial structure and chromatic fidelity.

연구 동기 및 목표

• 텍스트 정렬 조건화를 넘어 EEG 신호로부터의 고충실도 시각적 재구성을 촉진한다.
• 지각적 세부 정보를 보존하기 위해 EEG 표현을 추상적 텍스트/이미지 의미론으로부터 분리한다.
• 공동 잠재 공간을 풍부하게 만들기 위해 다중 스케일 EEG 인코더와 이미지 증강을 개발한다.
• EEG를 텍스트 공간으로 강제하지 않으면서 교차 모달 상호작용을 위한 공동 모달 어텐션 메커니즘을 제안한다.
• 확산 단계 간에 의미적 정보와 지각 정보를 균형 있게 조절하는 diffusion step gating를 도입한다.

제안 방법

• 공간-시간 및 피라미드 풀링 가지를 갖춘 다중 스케일 EEG 인코더로 미세하고 거친 EEG 특징을 포착한다.
• 에지 맵, 채도, 깊이(Depth-Anything-v2를 통해) 및 HSV 채도를 포함한 이미지 증강으로 시각 속성을 풍부하게 한다.
• 이미지, 텍스트, EEG 토큰을 연결하고 단일 공동 self-attention을 적용하는 Joint-Modal Attention으로, 모달리티별 투영과 이후 모달리티별 MLP 잔차를 갖는다.
• 텍스트와 EEG 프라이어를 사용하여 확산 타임스텝 간 정보 흐름을 조절하는 Diffusion Step Gating(텍스트 프라이어: sin schedule, EEG 프라이어: 1 - sin schedule)으로 거친 의미를 미세한 지각 신호와 정렬한다.

실험 결과

연구 질문

• RQ1 텍스트 정렬 조건화를 넘어 EEG 신호로부터의 고충실도 시각적 재구성을 촉진한다.
• RQ2 다중 스케일 EEG 표현과 이미지 증강이 재구성 품질에 어떤 영향을 미치는가?
• RQ3 EEG 사전 정렬 없이 교차 모달 상호작용을 허용하는 공동 모달 어텐션 전략이 전통적 교차 어텐션 대비 더 풍부한 교차 모달 상호작용을 가능하게 하는가?
• RQ4 생성 도중 확산 단계 게이팅이 의미적 안내와 지각 EEG 정보의 균형에 어떤 영향을 미치는가?

주요 결과

• JMVR은 SIX 개의 기준선(Base line)과 비교하여 THINGS-EEG에서 다수의 지표에서 최첨단 성능을 달성한다.
• Ablation은 다중 스케일 EEG 인코딩과 diffusion-step 게이팅이 성능에 결정적임을 보여준다.
• 이미지 증강은 미세한 충실도를 향상시키며, 이 모듈의 손실은 색상과 깊이 속성을 저하시킨다.
• Joint-modal attention은 EEG 특이성을 보존하고 텍스트와의 정렬 공간으로 EEG를 강제하지 않으면서 모달리티 간의 풍부한 상호작용을 가능하게 한다.
• 시간적 분석은 EEG가 후반부의 깊이와 공간 구조에 기여하는 반면, 텍스트가 초기 확산 단계의 거친 구조를 지배한다는 것을 시사한다.