[논문 리뷰] MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion

Yizhuo Lu, Changde Du외 2명|arXiv (Cornell University)|2023. 03. 24.

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

MindDiffuser는 CLIP 텍스트 임베딩, VQ-VAE 잠재 변수, CLIP 시각적 특징을 결합하여 fMRI 데이터로부터 의미적으로 정확하고 구조적으로 일치하는 이미지를 복원하는 이단계 확산 모델이다. 역 backpropagation를 통한 반복적 개선을 통해 의미적 일치성과 구조적 일치성을 동시에 최적화함으로써 자연 풍경 데이터셋(NSD)에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Reconstructing visual stimuli from measured functional magnetic resonance imaging (fMRI) has been a meaningful and challenging task. Previous studies have successfully achieved reconstructions with structures similar to the original images, such as the outlines and size of some natural images. However, these reconstructions lack explicit semantic information and are difficult to discern. In recent years, many studies have utilized multi-modal pre-trained models with stronger generative capabilities to reconstruct images that are semantically similar to the original ones. However, these images have uncontrollable structural information such as position and orientation. To address both of the aforementioned issues simultaneously, we propose a two-stage image reconstruction model called MindDiffuser, utilizing Stable Diffusion. In Stage 1, the VQ-VAE latent representations and the CLIP text embeddings decoded from fMRI are put into the image-to-image process of Stable Diffusion, which yields a preliminary image that contains semantic and structural information. In Stage 2, we utilize the low-level CLIP visual features decoded from fMRI as supervisory information, and continually adjust the two features in Stage 1 through backpropagation to align the structural information. The results of both qualitative and quantitative analyses demonstrate that our proposed model has surpassed the current state-of-the-art models in terms of reconstruction results on Natural Scenes Dataset (NSD). Furthermore, the results of ablation experiments indicate that each component of our model is effective for image reconstruction.

연구 동기 및 목표

• fMRI 신호로부터 의미적으로 정확하고 구조적으로 정밀한 이미지 복원을 동시에 해결하는 데 초점 맞추기.
• 이전 방법의 한계 극복: 최적화 기반 모델은 의미적 풍부함이 부족하고, 생성 기반 모델은 구조적 제어가 부족함.
• fMRI 반응의 개인 간 변동성에도 불구하고, 주체에 종속되지 않는 안정적인 이미지 복원 가능하게 하기.
• 다중모odal 사전학습 모델(CLIP, Stable Diffusion)을 활용하여 복원 품질과 제어 가능성 향상하기.

제안 방법

• 단계 1: fMRI를 CLIP 텍스트 임베딩(c)과 VQ-VAE 잠재 코드(z)로 디코딩한 후, z에 노이즈를 주입하여 확산용 z_T를 형성한다.
• Stable Diffusion의 이미지-이미지 노이즈 제거 과정에서 교차 어텐션을 사용하여 c와 z_T를 융합함으로써 의미적 정보와 세부 정보를 갖춘 초도 이미지를 생성한다.
• 단계 2: fMRI에서 복원된 CLIP의 저수준 시각적 특징을 지도 신호로 활용하여 역전파를 통해 가이드한다.
• 의도한 이미지의 구조가 원본과 일치하도록 역전파를 통해 잠재 특징(c와 z)을 지속적으로 개선한다.
• 두 단계로 구성된 훈련 없이도 작동하는 추론 파이프라인 활용: 먼저 의미적으로 타당한 이미지를 생성한 후, 기반 기반 최적화를 통해 구조를 개선한다.
• 이산적 잠재 표현을 위해 VQ-VAE를 사용하고, 조건부 제어 기반 고해상도 이미지 생성을 위해 Stable Diffusion를 활용한다.

실험 결과

연구 질문

• RQ1 확산 기반 모델이 fMRI에서 이미지로의 복원 과정에서 의미적 일치성과 구조적 일치성을 동시에 높게 달성할 수 있는가?
• RQ2 CLIP 텍스트 및 시각적 특징의 통합이 fMRI에서의 이미지 생성을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 세밀한 잠재 특징(z)이 최적화의 안정성과 복원 품질에 얼마나 큰 영향을 미치는가?
• RQ4 개인 간 fMRI 변동성에도 불구하고, 재학습이나 미세조정 없이도 모델이 다양한 주체에 일반화 가능한가?
• RQ5 두 단계 개선 과정이 종단 간 최적화나 무작위 z 초기화에 비해 복원 품질 측면에서 어떻게 비교되는가?

주요 결과

• MindDiffuser는 자연 풍경 데이터셋(NSD)에서 정성적·정량적 평가에서 최신 기술 수준(SOTA) 모델을 모두 능가한다.
• 제거 분석 결과, CLIP 텍스트 특징(c)과 복원된 저수준 시각적 특징이 고품질 복원을 위해 필수적임을 확인한다.
• VQ-VAE 잠재 코드 z를 무작위로 초기화할 경우 최적화 수렴이 열악해지지만, 복원된 z를 사용할 경우 안정적이고 정확한 최적화가 가능하다.
• 주체 1, 2, 5, 7에 대해 주체별 적응 없이도 의미적·구조적으로 일치하는 복원 결과를 달성한다.
• '저공비행기 노을진자락'이나 '욕실'과 같은 복잡한 자극의 경우, 형태, 방향성, 의미적 내용 모두에서 높은 일치도를 보인다.
• CLIP 시각적 특징을 지도 신호로 사용할 경우, 특히 초기 최적화 단계에서 구조 일치도가 크게 향상된다.