[논문 리뷰] Visio-Linguistic Brain Encoding

Subba Reddy Oota, Jashn Arora외 3명|arXiv (Cornell University)|2022. 04. 18.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

이 논문은 시각-언어 트랜스포머(예: VisualBERT, LXMERT)를 사용하여 시각적 자극과 문장 자극으로부터 fMRI 뇌 활동을 예측하는 시각-언어 뇌 인코딩을 조사한다. BOLD5000 및 Pereira 데이터셋에서 다중모달 트랜스포머가 단일모달 모델(CNN, 이미지 트랜스포머)보다 유의미하게 뛰어난 성능을 보이며, 새로운 최고의 성능 기록을 수립했으며, 수동적인 이미지 시각화 동안에도 언어 처리가 시각 뇌 반응에 암묵적으로 영향을 줄 수 있음을 시사한다.

ABSTRACT

Enabling effective brain-computer interfaces requires understanding how the human brain encodes stimuli across modalities such as visual, language (or text), etc. Brain encoding aims at constructing fMRI brain activity given a stimulus. There exists a plethora of neural encoding models which study brain encoding for single mode stimuli: visual (pretrained CNNs) or text (pretrained language models). Few recent papers have also obtained separate visual and text representation models and performed late-fusion using simple heuristics. However, previous work has failed to explore: (a) the effectiveness of image Transformer models for encoding visual stimuli, and (b) co-attentive multi-modal modeling for visual and text reasoning. In this paper, we systematically explore the efficacy of image Transformers (ViT, DEiT, and BEiT) and multi-modal Transformers (VisualBERT, LXMERT, and CLIP) for brain encoding. Extensive experiments on two popular datasets, BOLD5000 and Pereira, provide the following insights. (1) To the best of our knowledge, we are the first to investigate the effectiveness of image and multi-modal Transformers for brain encoding. (2) We find that VisualBERT, a multi-modal Transformer, significantly outperforms previously proposed single-mode CNNs, image Transformers as well as other previously proposed multi-modal models, thereby establishing new state-of-the-art. The supremacy of visio-linguistic models raises the question of whether the responses elicited in the visual regions are affected implicitly by linguistic processing even when passively viewing images. Future fMRI tasks can verify this computational insight in an appropriate experimental setting.

연구 동기 및 목표

• 시각적 및 문장 자극으로부터 fMRI 뇌 활동을 인코딩하는 데 있어 이미지 및 다중모달 트랜스포머의 효과성을 조사하는 것.
• 통합된 시각-언어 모델링이 단일모달 접근 방식을 초월해 뇌 인코딩을 향상시키는지 확인하는 것.
• 수동적인 이미지 시각화 동안에도 언어 처리가 시각 뇌 영역에 영향을 미치는지 탐구하는 것.
• 다중모달 표현이 인간의 뇌 반응과 어떻게 일치하는지에 대한 계산적 통찰을 제공하는 것.

제안 방법

• 연구는 시각-언어 트랜스포머(VisualBERT, LXMERT, CLIP)와 이미지 전용 트랜스포머(ViT, DEiT, BEiT)를 사용하여 자극을 인코딩한다.
• 다중층에서 시각적 및 언어적 특징을 함께 모델링하기 위해 교차 attention 메커니즘을 사용한다.
• fMRI 활동은 이러한 모델의 최종 레이어에서의 표현을 사용하여 예측하며, 수동적인 레이어 선택은 이루어지지 않는다.
• 실험은 두 개의 공개 fMRI 데이터셋(BOLD5000(순수 시각 자극), Pereira(다중모달 자극))을 대상으로 수행된다.
• 성능 평가는 뇌 영역 전역에서 예측된 fMRI 반응과 실제 반응 간 피어슨 상관계수(PC) 점수를 사용하여 평가된다.
• 분석에는 구체적 개념 대 추상적 개념에 대한 추론 실험과 뇌 네트워크(예: DMN, TP, 시각 영역) 간 비교가 포함된다.

Fig. 1: Brain encoding methodology. We use features from image/multi-modal Transformers (like ViT, VisualBERT and LXMERT) as input to the regression model to predict the fMRI activations for different brain regions. Brain encoding results are evaluated by computing 2V2 accuracy and Pearson correlati

실험 결과

연구 질문

• RQ1 VisualBERT와 같은 다중모달 트랜스포머가 CNN 및 이미지 트랜스포머와 같은 단일모달 모델보다 fMRI 뇌 인코딩에서 뛰어난 성능을 보일 수 있는가?
• RQ2 오직 시각 자극만 제시되었을 때도 언어 처리의 통합이 뇌 활동 예측 성능을 향상시키는가?
• RQ3 다양한 뇌 영역(예: 시각, 언어, DMN)은 시각-언어 표현에 어떻게 반응하는가?
• RQ4 구체적 개념과 추상적 개념 간의 인코딩 성능에 차이가 있는가?

주요 결과

• VisualBERT는 BOLD5000 및 Pereira 데이터셋 양쪽에서 가장 높은 성능를 기록하여, 시각-언어 뇌 인코딩 분야에서 새로운 최고 기록을 수립했다.
• VisualBERT 및 LXMERT와 같은 다중모달 모델은 CNN 및 이미지 트랜스포머와 같은 단일모달 모델보다 fMRI 예측 작업에서 유의미하게 뛰어난 성능를 보였다.
• 시각 뇌 영역(예: Vision_Object, Vision_Face)은 초기 시각 영역보다 예측된 fMRI 반응과 더 높은 상관관계를 보였다.
• 구체적 개념 학습-추상적 개념 테스트 모델은 추상적 개념 학습-구체적 개념 테스트 모델보다 더 높은 PC 점수를 기록했으며, 이는 구체적 개념에서 더 나은 학습이 이루어졌음을 시사한다.
• 장면 선택성 영역(RSC, OPA)은 COCO-Scenes, ImageNet-Scenes, Scenes-Scenes 작업에서 높은 상관관계를 보였으며, 특히 ImageNet 또는 COCO에서 사전학습된 모델일 경우 더욱 두드러졌다.
• 연구는 활동적인 작업(예: 이름 지정 또는 결정 내리기)이 수동적 시각화보다 더 강하고 집중된 시각 뇌 활동을 유도할 것이라고 예측하며, 언어가 시각 처리를 조절하는 데 역할을 할 수 있음을 시사한다.

Fig. 2: BOLD5000 Results: 2V2 (top figure) and Pearson correlation coefficient (bottom figure) between predicted and true responses across different brain regions using a variety of models. Results are averaged across all participants. VisualBERT perform the best.