[논문 리뷰] Natural scene reconstruction from fMRI signals using generative latent diffusion

Furkan Özçelik, Rufin VanRullen|arXiv (Cornell University)|2023. 03. 09.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 두 단계로 구성된 fMRI 기반 자연 풍경 재구성 프레임워크인 Brain-Diffuser를 제안한다. 먼저 매우 깊은 변동형 오토에인코드어(VDVAE)를 사용해 fMRI 신호에서 저수준 이미지 특징을 생성하고, 그 다음 다중모달 CLIP 특징(텍스트 및 시각)에 조건부로 작동하는 잠재 확산 모델(Versatile Diffusion)을 활용해 고해상도이고 의미적으로 일관된 풍경 재구성을 수행한다. 이 방법은 자연 풍경 데이터셋에서 기존 모델들을 능가하는 최신 기술 성능을 달성하며, 정성적 및 정량적 지표 모두에서 뛰어난 성과를 보였다.

ABSTRACT

In neural decoding research, one of the most intriguing topics is the reconstruction of perceived natural images based on fMRI signals. Previous studies have succeeded in re-creating different aspects of the visuals, such as low-level properties (shape, texture, layout) or high-level features (category of objects, descriptive semantics of scenes) but have typically failed to reconstruct these properties together for complex scene images. Generative AI has recently made a leap forward with latent diffusion models capable of generating high-complexity images. Here, we investigate how to take advantage of this innovative technology for brain decoding. We present a two-stage scene reconstruction framework called ``Brain-Diffuser''. In the first stage, starting from fMRI signals, we reconstruct images that capture low-level properties and overall layout using a VDVAE (Very Deep Variational Autoencoder) model. In the second stage, we use the image-to-image framework of a latent diffusion model (Versatile Diffusion) conditioned on predicted multimodal (text and visual) features, to generate final reconstructed images. On the publicly available Natural Scenes Dataset benchmark, our method outperforms previous models both qualitatively and quantitatively. When applied to synthetic fMRI patterns generated from individual ROI (region-of-interest) masks, our trained model creates compelling ``ROI-optimal'' scenes consistent with neuroscientific knowledge. Thus, the proposed methodology can have an impact on both applied (e.g. brain-computer interface) and fundamental neuroscience.

연구 동기 및 목표

• 복잡하고 다중 객체로 구성된 자연 풍경을 fMRI 신호로부터 재구성하는 데 도전하는 문제를 해결하기 위해, 이전 방법들이 저수준 시각적 세부 정보와 고수준 의미를 모두 유지하는 데 어려움을 겪어온 점을 고려한다.
• 최근에 발전한 생성형 AI, 특히 잠재 확산 모델의 응용을 통해 fMRI로부터의 뇌 해석 및 이미지 재구성 성능을 향상시키고자 한다.
• 다중모달 조건부 처리(텍스트 및 시각적 특징)를 fMRI에서 유도된 표현과 통합하여 더 현실적이고 의미적으로 정확한 재구성을 생성하는 프레임워크를 개발하고자 한다.
• 다양하고 복잡한 COCO 이미지가 포함된, 다양한 객체와 풍부한 의미적 내용을 지닌 도전적인 Natural Scenes Dataset(NSD)에서 모델의 능력을 검증하고자 한다.
• 지역화된 뇌 영역(ROI) 마스크에서 유도된 합성 fMRI 패atters로부터 'ROI 최적화된' 자극을 생성하여 뇌 기능을 탐색하는 데에 방법의 유용성을 입증하고자 한다.

제안 방법

• 프레임워크는 두 단계 과정을 사용한다: 첫 번째로, VDVAE 모델이 fMRI 신호에서 저수준 이미지 특징(예: 레이아웃, 텍스처 등)을 재구성하여 잠재 표현을 생성한다.
• 두 번째 단계로, VDVAE 출력에서 유도된 예측된 CLIP-Text 및 CLIP-Vision 특징에 조건부로 작동하는 잠재 확산 모델(Versatile Diffusion)이 최종 고해상도 이미지를 생성한다.
• 다중모달 특징은 CLIP를 사용해 추출되며, 이는 텍스트와 이미지 임베딩을 정렬시켜 확산 과정이 의미적으로 유의미한 재구성을 향해 유도한다.
• 모델은 다중체적 fMRI 활동 패tern을 VDVAE 및 확산 모델의 잠재 공간에 매핑하기 위해 릿지 회귀 모델만을 훈련시켜, 종단 간 훈련이 최소화되도록 한다.
• 프레임워크는 실제 fMRI 데이터와 ROI 마스크에서 유도된 합성 fMRI 패턴을 모두 사용해 Natural Scenes Dataset(NSD)에서 평가된다.
• 사전 훈련된 모델(VDVAE, Versatile Diffusion, CLIP)을 사용함으로써 생성 성분을 재훈련하지 않아도 fMRI 해석에 효율적으로 적응할 수 있다.

실험 결과

연구 질문

• RQ1 잠재 확산 모델이 fMRI 신호로부터 복잡하고 다중 객체로 구성된 자연 풍경을 재구성하는 데 효과적으로 활용될 수 있는가? 이는 저수준 시각적 구조와 고수준 의미적 내용을 모두 유지하는가?
• RQ2 CLIP 특징의 다중모달 조건부 처리(텍스트 및 시각)가 단일 모달 또는 무조건적 조건부 처리보다 fMRI 기반 이미지 재구성의 정확성과 현실성에 얼마나 기여하는가?
• RQ3 ROI 마스크에서 유도된 합성 fMRI 패턴을 사용해 뇌 영역 기능의 신경과학적 기대와 일치하는 '최적의 자극'을 생성할 수 있는가?
• RQ4 두 단계 프레임워크(저수준 재구성용 VDVAE + 개선용 확산 모델)가 종단 간 생성 모델보다 fMRI로부터 복잡한 풍경을 재구성하는 데 더 뛰어난 성능을 보이는가?
• RQ5 제안된 방법이 특정 ROI를 선택적으로 활성화하는 자극을 생성함으로써, 시각 피질 영역의 功能 특이성 탐색에 일반화될 수 있는가?

주요 결과

• Brain-Diffuser는 자연 풍경 데이터셋에서 정성적 및 정량적 평가에서 이전 최신 기술 모델들을 능가하며, 더 자연스럽고 의미적으로 일관된 재구성을 생성한다.
• 모델은 핵심적인 장면 레이아웃과 의미적 특징을 유지하여, 정확한 지표와는 다소 떨어지더라도 이전 접근 방식보다 더 현실적으로 보이는 재구성을 생성한다.
• 개별 ROI 마스크에서 유도된 합성 fMRI 패턴에 적용했을 때, 모델는 알려진 신경과학 원칙에 부합하는 'ROI 최적화된' 장면을 생성한다.
• CLIP-Text 및 CLIP-Vision 특징에 대한 이중 조건부 처리가 단일 모달 또는 무조건적 조건부 처리를 사용한 모델보다 재구성 품질을 크게 향상시킨다.
• Takagi 등 [22] 및 Chen 등 [20]과 같은 이전 방법들보다 고수준(예: CLIP 기반 유사도) 및 저수준(예: 인지적 유사도) 지표 모두에서 뛰어난 성능을 달성한다.
• 결과는 사전 훈련된 생성 모델가 fMRI 해석에 대해 최소한의 미세조정만으로 효과적으로 적응할 수 있음을 보여주며, 릿지 회귀를 통해 fMRI 활동을 잠재 공간에 매핑하는 데 의존한다.