[논문 리뷰] Mind Reader: Reconstructing complex images from brain activities

Sikun Lin, Thomas C. Sprague외 1명|arXiv (Cornell University)|2022. 09. 30.

Cell Image Analysis Techniques인용 수 34

한 줄 요약

본 논문은 fMRI로부터 뇌 신호를 미리 정렬된 시각-언어 잠재 공간(CLIP)으로 매핑하고, 그 공간과 이미지 캡션을 조건으로 이미지를 렌더링하는 조건부 제네레이터를 이용해 복합적이고 의미적으로 풍부한 이미지를 재구성한다.

ABSTRACT

Understanding how the brain encodes external stimuli and how these stimuli can be decoded from the measured brain activities are long-standing and challenging questions in neuroscience. In this paper, we focus on reconstructing the complex image stimuli from fMRI (functional magnetic resonance imaging) signals. Unlike previous works that reconstruct images with single objects or simple shapes, our work aims to reconstruct image stimuli that are rich in semantics, closer to everyday scenes, and can reveal more perspectives. However, data scarcity of fMRI datasets is the main obstacle to applying state-of-the-art deep learning models to this problem. We find that incorporating an additional text modality is beneficial for the reconstruction problem compared to directly translating brain signals to images. Therefore, the modalities involved in our method are: (i) voxel-level fMRI signals, (ii) observed images that trigger the brain signals, and (iii) textual description of the images. To further address data scarcity, we leverage an aligned vision-language latent space pre-trained on massive datasets. Instead of training models from scratch to find a latent space shared by the three modalities, we encode fMRI signals into this pre-aligned latent space. Then, conditioned on embeddings in this space, we reconstruct images with a generative model. The reconstructed images from our pipeline balance both naturalness and fidelity: they are photo-realistic and capture the ground truth image contents well.

연구 동기 및 목표

• fMRI 신호로부터 복합적이고 실제 세계의 장면 이미지를 디코딩하는 것을 조사한다.
• 텍스트 모달리티를 추가하는 것이 시각 전용 매핑보다 이미지 재구성을 개선하는지 평가한다.
• fMRI 데이터의 희소성을 완화하기 위해 대규모의 정렬된 시각-언어 잠재 공간을 활용한다.
• 뇌에서 공간으로의 매핑과 공간에서 이미지 생성을 분리하는 두 단계 학습 접근법을 시연한다.

제안 방법

• CNN 기반 매퍼를 사용하여 ROI 축소된 fMRI 신호를 CLIP 이미지 임베딩과 CLIP 캡션 임베딩으로 매핑한다.
• CLIP 인코더를 사용하여 이미지당 고품질 캡션을 선택하는 캡션 선별(caption screening)을 수행한다.
• 이미지 CLIP 임베딩(h_img)과 캡션 CLIP 임베딩(h_cap)과 정렬하기 위해 두 개의 개별 매핑 모델(fMRI→h_img, fMRI→h_cap)을 사용한다.
• CLIP 정렬 임베딩에 기반해 이미지 h_img'와 h_cap' 임베딩에 조건화된 이미지를 생성하도록 조건부 제너레이터(Lafite 스타일)를 미세 조정한다.
• 현실성 및 교차 모달 정렬을 보장하기 위해 MSE, 코사인 유사도, 대조 손실 등 다중 구성 손실과 세 개의 헤드를 가진 판별기를 적용한다.
• 두 단계로 학습한다: (i) fMRI→CLIP 임베딩을 학습; (ii) 고정된 매퍼로 조건부 제너레이터를 미세 조정한다.

실험 결과

연구 질문

• RQ1 fMRI 신호를 이미지 콘텐츠와 텍스트 캡션을 공동으로 인코딩하는 공유 CLIP 공간으로 매핑할 수 있는가?
• RQ2 복합적 장면에 대해 텍스트 모달리티(캡션)를 도입하는 것이 이미지 전용 매핑과 비교하여 재구성 정확도를 향상시켰는가?
• RQ3 뇌에서 유래된 CLIP 임베딩으로 조건화할 때 사전 학습된 다중 모달 제너레이터의 성능은 어떠한가?
• RQ4 훈련 전략(고정된 매퍼 대 엔드투엔드)이 재구성 품질에 미치는 영향은 무엇인가?

주요 결과

• 이 파이프라인은 복잡한 장면의 내용과 관계를 보존하는 사진처럼 사실적인 재구성을 생성한다.
• fMRI를 CLIP 임베딩으로 매핑하는 것은(특히 이미지 경로를 통한) 대부분의 설정에서 캡션 전용 매핑보다 FID 성능이 더 좋다.
• 이미지 및 캡션 CLIP 임베딩의 이중 헤드 조건화와 LF-Lafite 사전학습 제너레이터를 사용하면 여러 지표에서 단일 헤드 대비 성능이 우수하다.
• GAN 목표로 매퍼를 엔드투엔드 미세 조정하는 것은 일반적으로 성능을 저하시켜 임베딩 표현이 붕괴될 수 있다.
• CLIP 공간은 뇌 디코딩의 효과적인 매개체 역할을 하며, fMRI와 CLIP 임베딩이 재구성에 보완적 정보를 제공한다.