[논문 리뷰] Training language models to summarize narratives improves brain alignment

Khai Loong Aw, Mariya Toneva|arXiv (Cornell University)|2022. 12. 21.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 언어 모델를 서사 요약 작업에 맞추어 훈련하면 인간의 뇌 활동과의 일치도가 상당히 향상됨을 보여주며, 특히 언어 이해와 관련된 뇌 영역에서 두드러진다. 이 향상은 캐릭터 표현에서 가장 두드러지며, 순수한 다음 토큰 예측을 넘어서 더 깊은 서사 이해를 가능하게 한다.

ABSTRACT

Building systems that achieve a deeper understanding of language is one of the central goals of natural language processing (NLP). Towards this goal, recent works have begun to train language models on narrative datasets which require extracting the most critical information by integrating across long contexts. However, it is still an open question whether these models are learning a deeper understanding of the text, or if the models are simply learning a heuristic to complete the task. This work investigates this further by turning to the one language processing system that truly understands complex language: the human brain. We show that training language models for deeper narrative understanding results in richer representations that have improved alignment to human brain activity. We further find that the improvements in brain alignment are larger for character names than for other discourse features, which indicates that these models are learning important narrative elements. Taken together, these results suggest that this type of training can indeed lead to deeper language understanding. These findings have consequences both for cognitive neuroscience by revealing some of the significant factors behind brain-NLP alignment, and for NLP by highlighting that understanding of long-range context can be improved beyond language modeling.

연구 동기 및 목표

• 언어 모델를 서사 요약에 훈련시키면, 과제 특화 히ュ리스틱이 아닌 더 깊은 언어 이해로 이어지는지 조사하기.
• 향상된 인간 fMRI 반응과의 일치도가 언어 모델에서 진정한 인지 수준의 이해를 나타내는지 평가하기.
• 관측된 뇌 일치도 향상이 더 깊은 문맥 이해 때문인지, 아니면 언어 모델링 능력 향상 때문인지 규명하기.
• 서사 요약 훈련에서 어떤 담론 특징(예: 캐릭터, 감정, 동작)이 뇌 일치도 향상에 가장 기여하는지 특정하기.

제안 방법

• BookSum 데이터셋을 사용해 네 가지 기본 언어 모델(BART, LED, BigBird, LongT5)을 서사 이해 향상을 위해 미세조정하였다.
• 8명의 참가자가 5176단어 분량의 해리포터 장을 읽는 동안의 fMRI 기록을 사용해 기본 모델과 BookSum 미세조정 모델 간의 뇌 일치도를 비교하였다.
• 모델 표현에서 fMRI 반응을 예측하기 위해 선형 인코딩 모델을 사용하였으며, 일치도는 20v20 지표로 측정하였다.
• 다양한 입력 시퀀스 길이(최대 1000단어)와 모델 레이어를 통해 개선이 발생하는 위치를 파악하기 위해 분석하였다.
• 언어 모델링 능력과 서사 이해가 뇌 일치도에 기여하는 바를 분리하기 위해 추출 실험(ablation studies)를 실시하였다.
• 통계적 유의성과 결과의 해석 가능성을 검증하기 위해 FDR 보정을 적용한 대응 t-검정과 노이즈 실상 추정을 적용하였다.

실험 결과

연구 질문

• RQ1 서사 요약에 맞춰 언어 모델를 미세조정하면, 이야기 이해 중 인간의 뇌 활동과의 일치도가 향상되는가?
• RQ2 관측된 뇌 일치도 향상은 언어 모델링 능력 향상 때문인가, 아니면 더 깊은 서사 이해 때문인가?
• RQ3 서사 요약 미세조정 후 어떤 담론 특징(예: 캐릭터, 감정, 동작)이 뇌 일치도 향상에서 가장 두드러지는가?
• RQ4 다양한 모델 아키텍처에서 뇌 일치도 향상이 가장 높은 레이어와 입력 길이는 어디인가?
• RQ5 캐릭터에 대한 뇌 일치도 향상은 더 많은 캐릭터 관련 fMRI 시간점 때문인가, 아니면 진정한 표현적 향상 때문인가?

주요 결과

• 모든 테스트된 모델과 참가자에 대해 BookSum 미세조정 모델이 기본 모델보다 유의미하게 더 높은 뇌 일치도를 보였으며, 시퀀스 길이 500일 때 노이즈 실상의 98%에 도달하는 최고 수준의 향상이 관찰되었다.
• 뇌 일치도는 입력 시퀀스가 길어질수록 향상되었으며, 500단어에서 최적의 성능을 보였으며, 이는 장기적 문맥 통합이 더 깊은 이해에 핵심적임을 시사한다.
• 뇌 일치도 향상은 캐릭터 표현에서 가장 두드러졌으며, 감정과 동작 대비 24%의 상대적 일치도 향상이 관찰되었다.
• LongT5 모델의 경우, 뇌 일치도 향상이 주로 중간 및 후반 레이어(레이어 12–24)에서 발생하여 계층적 표현 학습이 이루어짐을 시사한다.
• 다른 담론 특징의 시간점 수가 다를 수 있음을 고려한 후에도 캐릭터 표현은 여전히 가장 큰 향상을 보였으며, 이는 통계적 오류가 아니라는 것을 확인한다.
• 언어 모델링 성능과 뇌 일치도 사이에 유의미한 상관관계가 없었으며, 이는 뇌 일치도 향상이 다음 토큰 예측 능력 향상 때문이 아니라 서사 이해 때문임을 시사한다.