[논문 리뷰] Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity?

Subba Reddy Oota, Jashn Arora외 4명|arXiv (Cornell University)|2022. 05. 03.

Neurobiology of Language and Bilingualism참고 문헌 50인용 수 24

한 줄 요약

이 연구는 독서와 청취 중 fMRI 뇌 활동을 예측하는 데 가장 효과적인 태스크 특화 NLP 표현은 무엇인지 조사한다. 10개의 NLP 태스크에서 추출한 특징을 이용해 릿지 회귀를 적용한 결과, 독서 관련 뇌 활동을 예측하는 데 핵심적일 뿐만 아니라 공명 해석, NER, 얕은 문법 분석이 가장 뛰어난 성능을 보였고, 청취에 대해서는 유사문장 생성, 요약, 자연어 추론 태스크가 더 뛰어난 성능을 보여, 다양한 모odalities 간에 뇌 기반 표현 방식의 차이를 드러낸다.

ABSTRACT

Several popular Transformer based language models have been found to be successful for text-driven brain encoding. However, existing literature leverages only pretrained text Transformer models and has not explored the efficacy of task-specific learned Transformer representations. In this work, we explore transfer learning from representations learned for ten popular natural language processing tasks (two syntactic and eight semantic) for predicting brain responses from two diverse datasets: Pereira (subjects reading sentences from paragraphs) and Narratives (subjects listening to the spoken stories). Encoding models based on task features are used to predict activity in different regions across the whole brain. Features from coreference resolution, NER, and shallow syntax parsing explain greater variance for the reading activity. On the other hand, for the listening activity, tasks such as paraphrase generation, summarization, and natural language inference show better encoding performance. Experiments across all 10 task representations provide the following cognitive insights: (i) language left hemisphere has higher predictive brain activity versus language right hemisphere, (ii) posterior medial cortex, temporo-parieto-occipital junction, dorsal frontal lobe have higher correlation versus early auditory and auditory association cortex, (iii) syntactic and semantic tasks display a good predictive performance across brain regions for reading and listening stimuli resp.

연구 동기 및 목표

• 태스크 특화 NLP 표현 중에서 독서 및 청취 중 언어 처리 시 fMRI 뇌 활동을 가장 효과적으로 예측할 수 있는 표현을 특정하는 것.
• 독서와 청취 자극에 대해 문법적 및 의미적 NLP 태스크의 예측 성능를 비교하는 것.
• 태스크 특화 표현을 fMRI 비트 응답과 연계함으로써 뇌 네트워크 조직의 인지적 통찰을 도출하는 것.
• 태스크 특화 미세조정이 뇌 표현 성능에 미치는 영향을 탐색함으로써 이전의 태스크 무관 사전학습 연구를 확장하는 것.

제안 방법

• 10개의 다양한 NLP 태스크(2개의 문법적 태스크: 얕은 문법 분석, 어휘의 의미 해석, 8개의 의미적 태스크: 공명 해석, NER, 유사문장 탐지, 질의응답, 요약, NLI, 감성 분석, 감성 분석)에 대해 미세조정된 트랜스포머 모델을 사용.
• 각 미세조정된 모델의 최종 레이어에서 문장 수준의 태스크 특화 표현을 추출하여 뇌 표현 모델에 입력.
• Pereira(독서 문장)와 Narratives-Pieman(스토리 청취) 두 데이터셋에 대해 전체 뇌 영역에서 태스크 특화 표현을 fMRI 비트 활동에 매핑하기 위해 릿지 회귀를 적용.
• 예측 성능 평가를 위해 평균 절대 오차(MAE)와 예측된 fMRI 반응과 실제 반응 간 피어슨 상관계수를 사용.
• 각 뇌 영역에서의 예측 오차(MAE) 및 상관계수의 뇌 지도를 생성하여 태스크 특화 예측 성능을 시각화.
• 주요 언어 네트워크 영역(예: LMTG, PMC, TPOJ)에 대한 서브-ROI 분석을 수행하여 특정 NLP 태스크에 가장 민감한 뇌 영역을 규명.

실험 결과

연구 질문

• RQ1 텍스트 독서 중 fMRI 뇌 활동을 예측하는 데 가장 뛰어난 NLP 태스크는 무엇인가?
• RQ2 청취 청각 내러티브에 대해 가장 높은 표현 정확도를 보이는 NLP 태스크는 무엇인가?
• RQ3 문법적 표현과 의미적 표현이 서로 다른 뇌 영역에서 활동 예측 능력에서 어떻게 다를까?
• RQ4 어느 뇌 영역이 태스크 특화 NLP 특징과 가장 강한 상관관계를 보이며, 독서와 청취 모odalities 간에 이러한 상관관계는 어떻게 다를까?

주요 결과

• 독서 중 fMRI 활동을 예측할 때 핵심적 공명 해석, 명시적 개체 인식(NEP), 얕은 문법 분석이 가장 낮은 평균 절대 오차(MAE)를 기록하여 이 모odal에 가장 뛰어난 예측 성능을 보였다.
• 청취 태스크에서는 유사문장 탐지, 요약, 자연어 추론(NLI)이 가장 낮은 MAE 값을 기록하여 다른 태스크보다 뇌 반응 예측에서 뛰어난 성능을 보였다.
• 독서와 청취 모두에서 좌측 대칭 언어 네트워크, 특히 후두엽 측두엽 회전(LPTG)과 중앙 측두엽 회전(LMTG)이 우측 대칭 뇌 영역보다 더 높은 예측 정확도를 보였다.
• 후측 중간 피질(PPC), 측두-두엽-후두엽 교차부위(TPOJ), 천장 앞부분 뇌엽 영역은 조기 청각 및 청각 연관 피질(EAC/AAC)보다 예측 활동과 더 높은 피어슨 상관계수를 보였다.
• 서브-ROI 분석 결과, LMTG와 LPTG 영역은 다른 언어 네트워크 하위 영역보다 핵심적 공명 해석 특징에 의해 더 정확하게 예측되었고, PMC 및 TPOJ 영역은 유사문장 탐지 특징과 강한 상관관계를 보였다.
• 연구 결과, 일반적인 사전학습 대비 태스크 특화 미세조정이 뇌 표현 성능을 크게 향상시키며, 독서와 청취 모odalities에 따라 최적의 태스크가 다름을 확인했다.