[논문 리뷰] Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding

Zijiao Chen, Jiaxin Qing외 3명|arXiv (Cornell University)|2022. 11. 13.

Functional Brain Connectivity Studies인용 수 8

한 줄 요약

MinD-Vis는 희소 마스킹된 뇌 모델링(Sc-MBM)과 双조건형 잠재 확산 모델(DC-LDM)을 사용하여 fMRI 기반 시각 복원을 위한 이단계 프레임워크를 제안한다. 대규모 비라벨 fMRI 데이터에서 마스킹 모델링을 통해 생물학적으로 타당한 표현을 사전 훈련하고, 이후 소수의 쌍화된 fMRI-이미지 애너테이션으로 미세조정함으로써 최신 기술 대비 FID를 41% 감소시키고, 100-way 의미 분류 정확도를 66% 향상시키는 최고 성능을 달성한다.

ABSTRACT

Decoding visual stimuli from brain recordings aims to deepen our understanding of the human visual system and build a solid foundation for bridging human and computer vision through the Brain-Computer Interface. However, reconstructing high-quality images with correct semantics from brain recordings is a challenging problem due to the complex underlying representations of brain signals and the scarcity of data annotations. In this work, we present MinD-Vis: Sparse Masked Brain Modeling with Double-Conditioned Latent Diffusion Model for Human Vision Decoding. Firstly, we learn an effective self-supervised representation of fMRI data using mask modeling in a large latent space inspired by the sparse coding of information in the primary visual cortex. Then by augmenting a latent diffusion model with double-conditioning, we show that MinD-Vis can reconstruct highly plausible images with semantically matching details from brain recordings using very few paired annotations. We benchmarked our model qualitatively and quantitatively; the experimental results indicate that our method outperformed state-of-the-art in both semantic mapping (100-way semantic classification) and generation quality (FID) by 66% and 41% respectively. An exhaustive ablation study was also conducted to analyze our framework.

연구 동기 및 목표

• 제한된 쌍화된 애너테이션을 바탕으로 fMRI 뇌 기록에서 고품질이며 의미적으로 유의미한 이미지를 복원하는 데 도전한다.
• 큰 잠재 공간에서 자기지도 학습 마스킹 모델링을 활용하여 일반화 가능하고 생물학적으로 타당한 fMRI 표현을 학습한다.
• 잠재 확산 모델에 이중 조건을 통합하여 뇌 복원에서 이미지 생성의 정밀도와 의미 일致성을 향상시킨다.
• 개별적 변동성과 fMRI 프rotocols의 도메인 이동에도 불구하고 다양한 피험자와 데이터셋에서 강건한 복원을 가능하게 한다.
• 해당 복원된 이미지가 자극의 내용뿐 아니라 상상된 또는 외부적 인지적 세부 정보까지도 포착할 수 있는지 탐색한다.

제안 방법

• SC-MBM는 대규모 비라벨 fMRI 데이터셋에서 마스킹 모델링을 사용하여 fMRI 표현을 사전 훈련하며, 주 시각 피질의 희소 코딩을 모방한다.
• 표현 공간에서 데이터 공간 비율을 크게 하여 정보 용량과 표현 품질을 향상시킨다.
• 이중 조건형 잠재 확산 모델(DC-LDM)을 사용하여 fMRI로 인코딩된 특징과 의미 레이블 양쪽에 조건을 걸어, 동일한 의미 하에 일관되면서도 다양성 있는 생성을 가능하게 한다.
• 프레임워크는 사전 훈련과 생성을 분리한다: SC-MBM가 먼저 일반적인 뇌 표현을 학습하고, 이후 소수의 쌍화된 fMRI-이미지 데이터로 확산 모델을 미세조정한다.
• 사전 훈련된 fMRI 인코더는 BOLD5000 등의 타겟 데이터셋에서 랩어라운드 패딩을 사용하여 ROI 크기의 변동을 처리하도록 미세조정된다.
• 정량적 지표(FID, 상위 1 정확도)와 생성된 이미지의 의미적 특성 및 저수준 특성에 대한 정성적 분석을 통해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 비라벨 fMRI 데이터에서 자기지도 학습 마스킹 모델링이 다양한 피험자와 데이터셋 간 일반화 가능한 생물학적으로 타당한 표현을 학습할 수 있는가?
• RQ2 잠재 확산 모델에서 이중 조건이 fMRI 기반 이미지 복원에서 의미 일치성과 생성 품질을 향상시키는가?
• RQ3 이 프레임워크는 원본 자극에 존재하지 않는 복잡한 시각적 세부 정보, 예를 들어 상상된 요소까지도 복원할 수 있는가?
• RQ4 저샷 쌍화된 데이터 설정 하에서 모델의 성능은 어떠한가? 기존 최고 기술 대비 의미적 및 정성적 품질에서 승리하는가?
• RQ5 학습된 표현이 다양한 fMRI 스캔 프로토콜과 전처리 파ip라인 간에 얼마나 일반화되는가?

주요 결과

• MinD-Vis는 GOD 데이터셋에서 최신 기술 대비 100-way 의미 분류 정확도를 66% 향상시켰다.
• 동일한 벤치마크에서 Fréchet Inception Distance(FID)를 41% 감소시켜 더 뛰어난 이미지 생성 품질을 나타냈다.
• BOLD5000 데이터셋에서 50-way, 1000회 시도의 의미 식별 작업에서 상위 1 정확도 34%를 기록하여 다양한 데이터셋 간 강력한 일반화 능력을 입증했다.
• 생성된 이미지들은 텍스처, 형태, 색상과 같은 핵심 저수준 특성을 유지했으며, 동물, 건축물, 풍경과 같은 복잡한 장면을 정확히 재구성했다.
• 원본 자극에 존재하지 않는 추가적인 인지적 세부 정보—예를 들어 강과 파란 하늘—까지도 성공적으로 복원하여, 상상되거나 내부적으로 생성된 시각적 내용을 포착하고 있음을 시사했다.
• SC-MBM를 통한 사전 훈련 덕분에 스캔 프로토콜과 전처리의 도메인 이동에도 불구하고 BOLD5000에서 강력한 전이 성능을 달성했으며, 학습된 표현의 일반화 능력을 확인했다.