[논문 리뷰] BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding

Yulong Liu, Yongqiang Ma외 3명|arXiv (Cornell University)|2023. 02. 25.

Image Processing Techniques and Applications인용 수 6

한 줄 요약

BrainCLIP는 CLIP의 다중 모odal 정렬 기반으로 뇌 활동을 이미지 및 텍스트 임베딩으로 매핑하는 작업 무관(fMRI decoding) 프레임워크를 제안한다. 이를 통해 zero-shot 시각 카테고리 복원, fMRI-이미지/텍스트 매칭, 고해상도 fMRI-이미지 생성이 가능해지며, 시각적 및 텍스트적 지도를 동시에 최적화함으로써 의미 복원 및 검색에서 최신 기술 수준의 성능을 달성한다. 기존의 BraVL과 같은 방법보다 zero-shot 분류 및 fMRI-이미지 생성 작업에서 뛰어난 성능을 보였다.

ABSTRACT

Due to the lack of paired samples and the low signal-to-noise ratio of functional MRI (fMRI) signals, reconstructing perceived natural images or decoding their semantic contents from fMRI data are challenging tasks. In this work, we propose, for the first time, a task-agnostic fMRI-based brain decoding model, BrainCLIP, which leverages CLIP's cross-modal generalization ability to bridge the modality gap between brain activity, image, and text. Our experiments demonstrate that CLIP can act as a pivot for generic brain decoding tasks, including zero-shot visual categories decoding, fMRI-image/text matching, and fMRI-to-image generation. Specifically, BrainCLIP aims to train a mapping network that transforms fMRI patterns into a well-aligned CLIP embedding space by combining visual and textual supervision. Our experiments show that this combination can boost the decoding model's performance on certain tasks like fMRI-text matching and fMRI-to-image generation. On the zero-shot visual category decoding task, BrainCLIP achieves significantly better performance than BraVL, a recently proposed multi-modal method specifically designed for this task. BrainCLIP can also reconstruct visual stimuli with high semantic fidelity and establishes a new state-of-the-art for fMRI-based natural image reconstruction in terms of high-level semantic features.

연구 동기 및 목표

• 저노이즈 비율과 쌍화된 데이터 부족으로 인해 일반적인 자연 시각 자극을 fMRI 데이터에서 복원하는 데 어려움이 존재하는 문제를 해결하기 위해.
• 특정 작업에 맞게 재학습이 필요 없는 통합된 작업 무관 뇌 복원 프레임워크를 개발하여 다양한 fMRI 기반 작업에 일반화되도록 하기 위해.
• CLIP의 사전 학습된 잘 정렬된 시각-언어 임베딩 공간을 뇌 활동 매핑의 기준점으로 활용하여 의미 수준의 복원 성능을 향상시키기 위해.
• 학습 중에 시각적 및 텍스트적 지도를 함께 사용할 경우 fMRI-이미지 생성 및 fMRI-텍스트 매칭 성능 향상이 이루어지는지 확인하기 위해.

제안 방법

• 대응 학습을 통해 이미지 및 텍스트 데이터를 사용하여 fMRI 패턴을 CLIP의 공통 임베딩 공간으로 매핑하는 맵핑 네트워크를 학습한다.
• 4억 개의 이미지-텍스트 쌍에서 사전 학습된 CLIP의 시각 및 텍스트 인코더를 활용하여 뇌 유사한 의미가 풍부한 표현 공간을 제공한다.
• 선형 맵핑 헤드와 VAE 기반 맵핑 네트워크의 두 가지 아키텍처를 탐색하여 fMRI에서 CLIP 임베딩으로의 변환을 모델링한다.
• 추론 시, 프롬프트 엔지니어링을 통해 zero-shot 시각 카테고리 분류, fMRI-이미지/텍스트 매칭, 확산 기반 이미지 생성을 지원한다.
• 뇌 활동을 두 모odal(이미지 및 텍스트)과 동시에 정렬하기 위해 fMRI-이미지 대비 손실과 fMRI-텍스트 대비 손실을 결합한 학습 목표를 사용한다.
• NSD 및 GOD fMRI 데이터셋에서 모델을 평가하며, CLIP 기반 및 Inception V3 기반 유사도 점수와 같은 정량적 지표를 사용한다.

Figure 1: An overview of our BrainCLIP framework. In the training phase, a mapping network is trained to align fMRI patterns with images and texts. In the test phase, BrainCLIP can be flexibly applied to the fMRI-image/text matching or fMRI-to-image generation tasks. Combined with prompting techniqu

실험 결과

연구 질문

• RQ1 CLIP의 다중 모달 표현 공간은 fMRI 뇌 활동과 시각적 및 언어적 데이터를 연결하는 유일한 기준점으로 기능할 수 있는가?
• RQ2 이미지와 텍스트 양측에서의 공동 지도 학습이 단일 모달 지도 학습보다 fMRI 복원 성능을 향상시키는가?
• RQ3 통합된 작업 무관 모델이 zero-shot 분류, 검색, 이미지 생성을 포함한 여러 fMRI 복원 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 다른 맵핑 네트워크 아키텍처(선형 대비 VAE)는 fMRI-이미지 생성 및 검색 작업 성능에 어떤 영향을 미치는가?

주요 결과

• BrainCLIP-VAE는 시각적 및 텍스트적 지도를 모두 사용할 경우 fMRI-텍스트 검색에서 90.8%의 정확도를 달성하여 단일 모달 설정보다 뛰어난 성능을 보였다.
• fMRI-이미지 생성 작업에서 BrainCLIP-VAE는 노이즈가 가미된 이미지를 입력으로 사용하여 CLIP 기반 2-way 식별 점수 89.4%를 기록하여 높은 의미 정밀도를 입증했다.
• 시각적 및 텍스트적 지도를 모두 사용한 경우 fMRI-텍스트 검색 정확도가 86.7%로 상승하여 다중 모달 정렬의 이점이 확인되었다.
• BrainCLIP는 zero-shot 시각 카테고리 복원에서 BraVL을 초월하여 fMRI-텍스트 검색 작업에서 86.7%의 정확도를 달성했다.
• fMRI-이미지 및 fMRI-텍스트 정렬의 조합이 모든 작업에서 성능 향상에 기여하여 다중 모달 지도의 가치를 확인했다.
• BrainCLIP-VAE는 fMRI-이미지 생성 및 fMRI-텍스트 검색에서 뛰어난 성능를 보였고, BrainCLIP-Linear는 fMRI-이미지 검색에서 뛰어난 성능를 보였다.

Figure 2: fmri-guided diffusion model