[논문 리뷰] Does injecting linguistic structure into language models lead to better alignment with brain recordings?

Mostafa Abdou, Ana Valeria González외 3명|arXiv (Cornell University)|2021. 01. 29.

Topic Modeling참고 문헌 50인용 수 19

한 줄 요약

이 논문은 문법적(UD, DM) 및 의미적(UCCA) 체계를 사용하여 주의 메커니즘을 유도하는 방식으로 BERT에 언어적 구조를 통합함으로써 fMRI 뇌 기록과의 일치도를 향상시키는 것을 제안한다. Wehbe2014 데이터셋에서는 특히 내용어와 문법 작업에서 구조적 편향이 강한 모델이 뇌 복원 성능을 크게 향상시키는 것으로 나타났으며, Pereira2018 데이터셋에서는 결과가 혼합되어 있어, 작업 및 데이터 조건이 유리할 경우 구조적 편향이 신경망과의 일치도를 향상시킬 수 있음을 시사한다.

ABSTRACT

Neuroscientists evaluate deep neural networks for natural language processing as possible candidate models for how language is processed in the brain. These models are often trained without explicit linguistic supervision, but have been shown to learn some linguistic structure in the absence of such supervision (Manning et al., 2020), potentially questioning the relevance of symbolic linguistic theories in modeling such cognitive processes (Warstadt and Bowman, 2020). We evaluate across two fMRI datasets whether language models align better with brain recordings, if their attention is biased by annotations from syntactic or semantic formalisms. Using structure from dependency or minimal recursion semantic annotations, we find alignments improve significantly for one of the datasets. For another dataset, we see more mixed results. We present an extensive analysis of these results. Our proposed approach enables the evaluation of more targeted hypotheses about the composition of meaning in the brain, expanding the range of possible scientific inferences a neuroscientist could make, and opens up new opportunities for cross-pollination between computational neuroscience and linguistics.

연구 동기 및 목표

• 사전 학습된 언어 모델에 상징적 언어적 구조를 통합함으로써 언어 이해 과정에서 인간의 뇌 활동과의 일치도가 향상되는지 조사하는 것.
• UD, DM, UCCA와 같은 문법적 및 의미적 체계를 기반으로 주의 메커니즘을 유도하는 것이 더 뇌 유사한 표현을 생성하는지 평가하는 것.
• 그러한 구조적 편향이 뇌 복원 및 특정 언어적 탐색 작업에서의 성능 향상에 기여하는지 평가하는 것.
• 특히 코퍼스 도메인과 크기와 같은 요소들이 모델-뇌 일치도에 영향을 미치는 언어적 및 데이터 관련 혼란 요인을 규명하는 것.
• 구조화된 NLP 모델을 통해 뇌 내 의미의 구성에 대한 더 정교한 신경과학적 가설을 가능하게 하는 것.

제안 방법

• UD(의존성 파싱), DM(최소 재귀 의미론), UCCA(의미적 의존 체계)로부터 유래한 문법적 또는 의미적 주석을 기반으로 주의 메커니즘을 유도하는 새로운 주의 유도 손실을 사용하여 BERT를 미세조정하는 것.
• 각 체계에 따라 주석이 된 도메인 특화 텍스트 코퍼스에서 모델을 훈련시키며, 훈련 과정에서 주의 헤드가 주석을 따르도록 유도하는 것.
• Wehbe2014 및 Pereira2018 두 데이터셋의 fMRI 기록과 비교하기 위해 기준 모델과 유도된 모델의 문장 및 단어 수준 표현을 추출하는 것.
• 모델 표현에서 fMRI 활성 패턴으로의 선형 매핑을 학습하여 뇌 복원을 수행하며, 상관계수 또는 F1 점수를 통해 성능을 평가하는 것.
• 모델의 문법적(예: 주어-동사 일치) 및 의미적(예: 의미 태깅) 능력을 평가하기 위해 탐색 작업을 수행하는 것.
• 내용어 대비 기능어 간 성능 차이를 분석하고, 코퍼스 크기, 도메인, 의존성 길이 등의 혼란 요인의 영향을 평가하는 것.

실험 결과

연구 질문

• RQ1 언어 모델에 언어적 구조를 통합함으로써 인간의 fMRI 뇌 기록과의 표현 일치도가 향상되는가?
• RQ2 UD, DM, UCCA 중 어떤 언어 체계가 BERT의 주의를 유도하는 데 사용되었을 때 가장 강한 뇌 일치도를 제공하는가?
• RQ3 구조적 편향이 문법적 및 의미적 탐색 작업 성능에 미치는 영향은 어떠하며, 이는 뇌 일치도와 관련이 있는가?
• RQ4 코퍼스 도메인과 크기가 모델-뇌 일치도에 영향을 미치는 혼란 요인으로서 어느 정도 작용하는가?
• RQ5 문장 수준 집합 과정에서 구조 정보가 손실되어 Pereira2018 데이터셋에서 성능이 떨어지는가?

주요 결과

• UD 및 DM 체계를 기반으로 주의를 유도한 미세조정된 모델은 Wehbe2014 데이터셋에서 특히 단어 수준에서 뇌 복원 성능이 유의미하게 향상되었다.
• 향상 효과는 내용어에서 가장 두드러졌으며, 이는 도메인 미세조정 기준 모델(UD 및 DM)의 성능 저하가 주로 내용어의 복원 정확도 감소에서 기인했기 때문이다.
• Pereira2018 데이터셋에서는 문장 수준에서 성능 향상이 더 미약했지만, 평균 풀링된 표현을 사용할 경우 유도된 모델의 우월성이 사라졌으며, 이는 집합 과정에서 구조적 이점이 가려질 수 있음을 시사한다.
• 두 데이터셋 전반에서 DM 및 UD로 주의를 유도한 모델는 UCCA로 유도한 모델보다 항상 더 뛰어난 뇌 일치도를 보였지만, 이는 코퍼스 도메인과 크기와 같은 혼란 요인에 의해 영향을 받을 수 있다.
• 뇌 활동과 가장 잘 일치하는 모델에서는 항상 문법 탐색 작업(예: 주어-동사 일치)에서 높은 복원 점수를 기록했으며, 이는 공통된 구조적 민감도를 나타낸다.
• 연구는 코퍼스 도메인과 크기가 핵심 혼란 요인임을 드러냈다: 유도된 모델의 복원 성능 순위는 훈련 코퍼스 크기와 상관관계가 있었으며(예: DM > UD > UCCA), 이는 데이터 특성이 구조적 편향의 효과성에 중대한 영향을 미칠 수 있음을 시사한다.