[논문 리뷰] DreamCatcher: Revealing the Language of the Brain with fMRI using GPT Embedding

Subhrasankar Chatterjee, Debasis Samanta|arXiv (Cornell University)|2023. 06. 16.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 뇌 영상 데이터에서 자연어 문장을 생성하는 새로운 fMRI 캡셔닝 프레임워크인 DreamCatcher를 소개한다. 이 방법은 Representation Space Encoder(RSE)를 통해 fMRI 뇌 활동을 1536차원 GPT 임베딩으로 매핑하고, RevEmbedding 디코더를 통해 자연어 캡처를 생성한다. 이 방법은 fMRI 데이터로부터 의미적으로 일관되고 맥락적으로 관련성이 있는 캡처를 생성하는 데 있어 유망한 성능을 보이며, 사전 훈련된 언어 모델 임베딩을 뇌 표현 공간으로 사용하여 시각 인식을 복원하는 데의 가능성을 입증한다.

ABSTRACT

The human brain possesses remarkable abilities in visual processing, including image recognition and scene summarization. Efforts have been made to understand the cognitive capacities of the visual brain, but a comprehensive understanding of the underlying mechanisms still needs to be discovered. Advancements in brain decoding techniques have led to sophisticated approaches like fMRI-to-Image reconstruction, which has implications for cognitive neuroscience and medical imaging. However, challenges persist in fMRI-to-image reconstruction, such as incorporating global context and contextual information. In this article, we propose fMRI captioning, where captions are generated based on fMRI data to gain insight into the neural correlates of visual perception. This research presents DreamCatcher, a novel framework for fMRI captioning. DreamCatcher consists of the Representation Space Encoder (RSE) and the RevEmbedding Decoder, which transform fMRI vectors into a latent space and generate captions, respectively. We evaluated the framework through visualization, dataset training, and testing on subjects, demonstrating strong performance. fMRI-based captioning has diverse applications, including understanding neural mechanisms, Human-Computer Interaction, and enhancing learning and training processes.

연구 동기 및 목표

• fMRI에서 이미지 복원 기술의 한계를 해결하기 위해, 전반적인 맥락과 고수준의 장면 의미를 잘 포착하지 못하는 문제를 해결하고자 한다.
• 이미지 복원과 대체할 수 있는 fMRI 캡처링을 제안하여, 신경 활동을 자연어로 해석할 수 있도록 하고자 한다.
• 1536차원 GPT 임베딩이 fMRI 데이터에 대한 의미 있는 잠재 표현 공간으로 사용될 수 있음을 검증하고자 한다.
• fMRI 반응에서 직접 의미적으로 정확하고 문법적으로 일관된 캡처를 생성할 수 있는 프레임워크를 개발하고자 한다.

제안 방법

• Representation Space Encoder(RSE)는 사전 훈련된 GPT 임베딩과 일치하도록 훈련된 신경망 아키텍처를 사용하여 전처리된 fMRI 벡터를 1536차원 잠재 공간으로 매핑한다.
• RevEmbedding 디코더는 1536차원 GPT 임베딩 표현에서 자연어 캡처를 생성하는 일대다 순차 모델이다.
• 프레임워크는 인간이 애너테이션한 캡처를 기반으로 한 대비 손실을 사용하여 생성 과정을 최적화하며, 참조 기술과의 의미 일치를 보장한다.
• 모델은 8명의 피험자가 시각 자극을 노출한 Natural Scenes Dataset(NSD)에서 훈련 및 평가된다.
• 주성분 분석(PCA)과 t-SNE는 학습된 표현 공간을 시각화하고 뇌 패턴의 군집화를 평가하는 데 사용된다.
• 평가 지표로는 METEOR, 문장 수준 유사도, 퍼플렉서티를 사용하여 캡처 품질과 일관성을 평가한다.

Figure 1 : Illustrative example of current issues with fMRI-to-Image reconstruction. First reconstruction example successfully captures the low-level features however misses the high-level features. Second reconstruction example is adequate at a object-level replication, however misses the context i

실험 결과

연구 질문

• RQ1 fMRI 데이터가 사전 훈련된 언어 모델의 임베딩 공간으로 효과적으로 매핑되어 의미 있는 캡처 생성이 가능한가?
• RQ2 제안된 DreamCatcher 프레임워크가 인간이 애너테이션한 기준 캡처와 의미적으로 및 문법적으로 일관된 캡처를 생성하는가?
• RQ3 1536차원 GPT 임베딩 공간이 fMRI 신호로부터 시각 자극의 주요 특징과 맥락적 속성을 포착하고 구분할 수 있는가?
• RQ4 프레임워크는 뇌 활동에서 맥락적으로 정확한 기술을 생성하는 데 있어 피험자 간에 잘 일반화되는가?
• RQ5 RSE가 학습한 표현 공간이 유사한 시각 자극을 의미 있게 군집화하고 있는가?

주요 결과

• DreamCatcher 프레임워크는 모든 테스트 피험자에서 유의미한 METEOR 점수를 기록하여 생성된 캡처와 기준 캡처 간의 강한 일치를 보였다.
• 문장 수준 유사도 지표는 생성된 캡처가 인간이 애너테이션한 기술과 문법적·의미적으로 유사함을 보여주어 일관성과 관련성을 확인했다.
• PCA와 t-SNE를 활용한 시각화 결과, GPT 임베딩 공간 내에서 표현이 명확하게 군집화되어 있음을 확인하였으며, 이는 기저의 시각적 특징과 맥락적 관계를 효과적으로 포착하고 있음을 시사한다.
• 가능성 테스트 결과, fMRI 기반 캡처링이 실현 가능하며, 생성된 캡처가 저수준 특징을 넘어서 주요 객체와 맥락 정보를 잘 포착하고 있음을 확인하였다.
• RevEmbedding 디코더는 단일 fMRI 임베딩에서 일대다 캡처 시퀀스를 성공적으로 생성하여, 모델이 풍부하고 기술적인 출력을 생성할 수 있는 능력을 보였다.
• 생성된 캡처에 연결되지 않거나 타당하지 않은 특징이 없음을 통해, 이 프레임워크는 조각 기반 복원 방법보다 맥락적 충실도에서 뛰어난 성능을 보였다.

Figure 2 : fMRI-Captioning: Subject is presented with an image stimulus and fMRI Neural Responses were captured. Given an fMRI response, the task is to predict captions based on the visual stimulus.