[논문 리뷰] UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity

Weijian Mai, Zhijun Zhang|arXiv (Cornell University)|2023. 08. 14.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

UniBrain은 단일 잠재 확산 모델과 다중 모달 CLIP-가이드 조건화를 사용하여 fMRI 기반 이미지 재구성 및 자막 작성을 통합하며, 추가 학습 없이 두 작업 모두에서 NSD에서 최첨단 성과를 달성합니다.

ABSTRACT

Image reconstruction and captioning from brain activity evoked by visual stimuli allow researchers to further understand the connection between the human brain and the visual perception system. While deep generative models have recently been employed in this field, reconstructing realistic captions and images with both low-level details and high semantic fidelity is still a challenging problem. In this work, we propose UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity. For the first time, we unify image reconstruction and captioning from visual-evoked functional magnetic resonance imaging (fMRI) through a latent diffusion model termed Versatile Diffusion. Specifically, we transform fMRI voxels into text and image latent for low-level information and guide the backward diffusion process through fMRI-based image and text conditions derived from CLIP to generate realistic captions and images. UniBrain outperforms current methods both qualitatively and quantitatively in terms of image reconstruction and reports image captioning results for the first time on the Natural Scenes Dataset (NSD) dataset. Moreover, the ablation experiments and functional region-of-interest (ROI) analysis further exhibit the superiority of UniBrain and provide comprehensive insight for visual-evoked brain decoding.

연구 동기 및 목표

• 뇌-시각 연결에 대한 이해를 높이기 위해 인간 뇌 활동으로 시각 자극을 해독하는 동기를 부여한다.
• fMRI 신호로 이미지 재구성 및 자막 작성을 모두 수행하는 통합되고 학습 없이 작동하는 프레임워크를 개발한다.
• 의미론적 충실도를 향상시키기 위해 다중 모달(텍스트 및 이미지) 조건화를 가진 잠재 확산 모델을 활용한다.
• Natural Scenes Dataset(NSD)에서 방법을 시연하고 ROI 기반 뇌 해독을 분석한다.

제안 방법

• Versatile Diffusion(잠재 확산 모델)을 백본으로 사용하여 다중 모달 생성(이미지 및 텍스트)을 가능하게 한다.
• fMRI 보셀을 네 가지 잠재 표현으로 매핑한다: Latent-Image Z_I, Latent-Text Z_T, CLIP-Image C_I, 그리고 CLIP-Text C_T를 작은 회귀 모델을 통해.
• 역확산을 C_I와 C_T 조건으로 안내하고 사전 학습된 AutoKL 디코더로 해독하여 이미지 재구성을 수행한다.
• C_I와 C_T로 역확산을 안내하여 Z_T를 얻고, 사전 학습된 Optimus GPT-2로 디코딩해 자막을 생성하는 방식으로 캡션 작성을 수행한다.
• 고정된 인코더를 사용하여 네 가지 릿지 회귀 모델(fMRI -> Z_I, fMRI -> Z_T, fMRI -> C_I, fMRI -> C_T)을 학습하되 대형 네트워크의 미세 조정은 하지 않는다.
• 확산 단계에서 CLIP-Image와 CLIP-Text 조건화를 혼합하기 위한 혼합 파라미터를 사용하고(작업별로 혼합 값 조정).

실험 결과

연구 질문

• RQ1 단일 확산 기반 모델이 시각자극으로 유발된 fMRI 신호로 이미지를 함께 재구성하고 자막을 생성할 수 있는가?
• RQ2 다중 모달 조건(CLIP-Image 및 CLIP-Text)이 재구성 품질과 자막의 의미론적 충실도에 어떤 영향을 미치는가?
• RQ3 ROI 기반 뇌 활동과 피험자 간 일관성이 UniBrain의 성능에 어떤 영향을 미치는가?
• RQ4 UniBrain이 NSD 기반 뇌 해독에서 기존 방법에 비해 질적 및 양적 이점을 제공하는가?

주요 결과

• UniBrain은 이전 방법과 비교하여 낮은 수준(PixCorr, SSIM, AlexNet-2, AlexNet-5) 및 높은 수준(Inception, CLIP 등) 지표에서 이미지 재구성에 대한 최첨단 정량 성능을 달성한다.
• UniBrain은 원데이터 NSD 기반의 이미지 캡션 생성을 처음으로 제공하며 저수준 및 고수준 텍스트 지표에서도 경쟁력을 보인다.
• 소거 연구는 CLIP-Image 특징이 저수준 시각 충실도에 크게 기여하고, CLIP-Text 특징이 고레벨 의미 세부 정보를 추가하며 이들을 결합하면 전체 성능이 가장 좋음을 보여준다.
• 다중 모달 조건화(C_I 및 C_T)는 재구성과 캡션 작성 두 작업에서 단일 모달 기준선보다 일관되게 성능을 향상시킨다.
• ROI 분석은 UniBrain이 기능적으로 정의된 뇌 영역(Face-ROI, Word-ROI, Place-ROI, Body-ROI)에 정렬된 콘텐츠를 생성할 수 있음을 보여주어 영역별 해독에 대한 통찰을 제공한다.
• UniBrain은 단일 피험자의 데이터로 학습했음에도 불구하고 합리적인 피험자 간 일관성을 유지하여 확산 기반 프레임워크의 강한 일반화 가능성을 시사한다.