[논문 리뷰] Understanding language-elicited EEG data by predicting it from a fine-tuned language model

Dan Schwartz, Tom M. Mitchell|arXiv (Cornell University)|2019. 04. 02.

Neurobiology of Language and Bilingualism참고 문헌 30인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 언어 모델을 사건 관련 전위(ERPs)를 뇌 활동에서 예측하도록 미세조정하여 언어 자극에 의해 유도된 뇌전도 반응을 이해하는 데 새로운 방법을 제안한다. 이는 이전에 부분적으로만 예측 가능하다고 여겨졌던 여섯 가지 주요 ERP 성분—N400, EPNP, PNP, P600, LAN, ELAN—이 언어 모델 임beddings에서 예측 가능하다는 것을 처음으로 입증하며, 특히 문맥적(예: LAN/P600, ELAN/P600)과 의미적(예: N400/EPNP/PNP) 성분 간의 새로운 관계를 공동 다중작업 학습을 통해 드러낸다.

ABSTRACT

Electroencephalography (EEG) recordings of brain activity taken while participants read or listen to language are widely used within the cognitive neuroscience and psycholinguistics communities as a tool to study language comprehension. Several time-locked stereotyped EEG responses to word-presentations -- known collectively as event-related potentials (ERPs) -- are thought to be markers for semantic or syntactic processes that take place during comprehension. However, the characterization of each individual ERP in terms of what features of a stream of language trigger the response remains controversial. Improving this characterization would make ERPs a more useful tool for studying language comprehension. We take a step towards better understanding the ERPs by fine-tuning a language model to predict them. This new approach to analysis shows for the first time that all of the ERPs are predictable from embeddings of a stream of language. Prior work has only found two of the ERPs to be predictable. In addition to this analysis, we examine which ERPs benefit from sharing parameters during joint training. We find that two pairs of ERPs previously identified in the literature as being related to each other benefit from joint training, while several other pairs of ERPs that benefit from joint training are suggestive of potential relationships. Extensions of this analysis that further examine what kinds of information in the model embeddings relate to each ERP have the potential to elucidate the processes involved in human language comprehension.

연구 동기 및 목표

• 언어 입력의 특징와 연결하여 언어 이해 과정에서의 사건 관련 전위(ERPs)를 더 잘 특성화하기 위해.
• 언어 모델 임beddings가 청각적 또는 시각적 언어 자극에 의해 유도된 신경 반응(ERPs)을 예측할 수 있는지 조사하기 위해.
• 여러 ERP 성분 간의 공동 훈련이 잠재적인 인지적 관계를 어떻게 드러내는지 탐색하기 위해.
• 양방향 언어 모델이 ERP 반응을 예측하는 데에서 단방향 모델보다 성능이 뛰어나지 않는지 확인하기 위해.
• 눈동자 움직임, 자율 독서 시간 등의 행동 데이터가 ERP 데이터와 함께 공동으로 학습될 경우 예측 성능 향상에 기여하는지 검토하기 위해.

제안 방법

• BERT와 같은 사전에 훈련된 양방향 트랜스포머 언어 모델을 사용하여 단어 수준의 언어 입력에서 여섯 가지 ERP 성분을 예측하도록 미세조정한다.
• 다중 작업 학습 프레임워크를 사용하여 모델이 동시에 여러 ERP 성분을 예측하도록 하며, 작업 간에 표현을 공유한다.
• Frank 등(2015)의 연구에서 제공한 단어별 언어 자극과 해당 자극에 대응하는 ERP 진폭 데이터 세트를 사용해 모델을 훈련한다.
• ERP 성분 예측 성능을 비교하기 위해 양방향 및 단방향 언어 모델 변형을 대조한다.
• 다중 작업 학습 설정에서 행동 데이터(눈동자 움직임, 자율 독서)를 보조 신호로 통합하여 ERP 예측 성능 향상 여부를 분석한다.
• 학습된 표현을 분석하여 각 ERP 성분과 관련된 언어적 특징이 모델의 임베딩에서 어느 정도 예측 가능성이 있는지 확인한다.

실험 결과

연구 질문

• RQ1 이전 연구에서 두 성분만 예측 가능하다는 것이 입증되었지만, 미세조정된 언어 모델이 언어 입력에서 여섯 가지 주요 ERP 성분을 모두 예측할 수 있는가?
• RQ2 공동 훈련에서 어떤 ERP 성분이 유의미하게 향상되며, 이는 그 성분 간의 잠재적 인지적 관계에 대해 어떤 시사점을 갖는가?
• RQ3 왜 양방향 언어 모델이 ERP 반응 예측에서 단방향 모델보다 성능이 뛰어나게 되는가?
• RQ4 눈동자 움직임, 독서 시간 등의 행동 데이터가 다중 작업 학습 설정에서 ERP 예측 성능 향상에 기여하는가?
• RQ5 모델의 은닉 표현에서 각 ERP 성분을 가장 잘 예측하는 언어적 특징는 무엇인가?

주요 결과

• N400, EPNP, PNP, P600, LAN, ELAN 등 여섯 가지 주요 ERP 성분이 모두 언어 모델 임beddings에서 예측 가능하며, 이는 이전 연구에서 두 성분만 예측 가능하다는 결과를 넘어서는 것이다.
• 공동 훈련은 LAN+P600 및 ELAN+P600와 같이 이전에 인지적으로 관련이 있다고 알려진 특정 ERP 성분 쌍의 예측 성능 향상에 기여한다.
• 양방향 모델이 ERP 반응 예측에서 단방향 모델보다 성능이 뛰어나며, 이는 향후 문맥 정보가 뇌 활동 모델링에 유리하다는 것을 시사한다.
• 눈동자 움직임, 자율 독서 시간 등의 행동 데이터를 다중 작업 학습에 통합함으로써 ERP 예측 성능 향상이 이루어졌으며, 이는 신경적 및 행동적 신호 간의 공유된 표현이 존재함을 시사한다.
• EPNP와 PNP가 공동 훈련에서 유의미하게 향상되며, 이는 잠재적인 기능적 연관성이 있음을 시사하는 바, 이는 이전에 알려지지 않은 ERP 관계를 드러낸다.
• 결과적으로 ERP 성분들은 고립된 지표가 아니라, 공동 표현 학습을 통해 드러나는 공유된 언어적 및 인지적 과정에 의해 함께 형성된다는 점을 시사한다.