[논문 리뷰] Different kinds of cognitive plausibility: why are transformers better than RNNs at predicting N400 amplitude?

James A. Michaelov, Megan D. Bardolph외 2명|arXiv (Cornell University)|2021. 07. 20.

Topic Modeling참고 문헌 32인용 수 14

한 줄 요약

이 연구는 변환기 언어 모델(T-LMs)이 복잡한 의미 처리 어려움의 뇌전기 신호인 N400 진폭 예측에서 순환 신경망 언어 모델(RNN-LMs)보다 우월한 이유를 조사한다. GPT-2와 자체 개발한 RNN(JRNN)을 사용하여, T-LMs가 더 잘 의미 촉진 효과를 포착하며, 그 놀라움 점수와 문맥과 목표어 사이의 의미 유사도 간 상관관계가 더 강하다는 것을 보여주며, 이는 변환기가 인간 인지와 유사한 확산 활성화를 암묵적으로 모델링한다는 것을 시사한다.

ABSTRACT

Despite being designed for performance rather than cognitive plausibility, transformer language models have been found to be better at predicting metrics used to assess human language comprehension than language models with other architectures, such as recurrent neural networks. Based on how well they predict the N400, a neural signal associated with processing difficulty, we propose and provide evidence for one possible explanation - their predictions are affected by the preceding context in a way analogous to the effect of semantic facilitation in humans.

연구 동기 및 목표

• 변환기 언어 모델(T-LMs)이 RNN-LMs보다 N400 진폭을 더 잘 예측하는지, 특히 의미 촉진과 관련하여 확인하는 것.
• T-LMs가 N400 예측에서 뛰어난 성능을 보이는 이유가, 문맥과 목표어 사이의 의미 유사도를 포착할 수 있기 때문인지 조사하는 것.
• T-LMs와 RNN-LMs 간의 아키텍처 차이—특히 어텐션 메커니즘 대 반복 상태—이 놀라움 예측에서 의미 촉진 패턴에 어떻게 영향을 미치는지 평가하는 것.
• 제한된 워킹 메모리 덕분에 RNN-LMs가 더 인지적으로 타당하다는 가정을 도전하며, T-LMs가 의미 촉진과 같은 특정 신경인지 현상(예: 의미 자극)을 더 잘 모델링한다는 것을 보여주는 것.
• 특히 예측과 의미 관련성에 의한 N400 조절을 고려할 때, 다양한 신경망 아키텍처가 인간 언어 이해를 모델링하는 데 있어 인지적 타당성이 어떻게 달라지는지 명확히 하는 것.

제안 방법

• 동일한 텍스트 코퍼스에서 GPT-2 언어 모델과 자체 개발한 J형태 RNN(JRNN)을 훈련시어 비교 가능한 훈련 데이터를 확보함.
• 각 모델의 N400 관련 놀라움을 문맥에 기반한 목표어의 음의 로그 확률로 계산함.
• 사전 학습된 단어 임베딩 간 코사인 거리를 사용해 목표어와 이전 문맥어 사이의 의미 유사도를 계산함.
• EEG 데이터에서 N400 진폭 예측에 놀라움과 의미 유사도가 얼마나 잘 작용하는지 평가하기 위해 선형 혼합 효과 모델을 사용함.
• GPT-2와 JRNN의 놀라움 점수가 N400 진폭을 얼마나 잘 예측하는지 비교하며, 특히 의미적으로 관련된지 여부에 따라 목표어를 분류함.
• 모델의 놀라움 점수와 의미 유사도 간 상관관계를 분석하여, 모델이 확산 활성화 효과를 암묵적으로 어떻게 인코딩하는지 평가함.

실험 결과

연구 질문

• RQ1 변환기 언어 모델(T-LMs)의 놀라움이 RNN-LMs보다 N400 진폭을 더 잘 예측하는가?
• RQ2 T-LMs와 RNN-LMs가 문맥과 목표어 간 의미 유사도로 인덱싱된 의미 촉진 효과를 어느 정도 포착하는가?
• RQ3 T-LMs와 RNN-LMs 간에 놀라움 점수와 의미 유사도 간 상관관계가 유의미한가? 이는 N400 진폭 예측과 어떻게 관련되는가?
• RQ4 T-LMs와 RNN-LMs 간의 아키텍처 차이가 N400 조절과 같은 신경인지 현상을 모델링하는 데서 성능의 차이를 설명할 수 있는가?
• RQ5 T-LMs가 어텐션 메커니즘을 통해 확산 활성화를 암묵적으로 모델링할 수 있는 능력 덕분에, RNN-LMs보다 언어 이해의 특정 측면에서 더 인지적으로 타당한가?

주요 결과

• GPT-2의 놀라움 점수는 특히 최고의 빈도 채움과 의미적으로 관련된 단어에서 N400 진폭을 더 잘 예측함.
• GPT-2의 놀라움 점수는 JRNN보다 문맥과 목표어 간 의미 유사도와 더 강한 반비례 상관관계를 보이며, 이는 T-LMs가 의미적 문맥을 예측에 더 잘 통합한다는 것을 시사함.
• JRNN의 놀라움 점수는 높은 빈도 채움 문맥에서 의미적으로 관련된지 여부를 구분하지 못해 의미 촉진에 대한 민감도가 낮다는 것을 보여줌.
• 결과는 T-LMs가 어텐션 메커니즘을 통해 의도적으로 설계되지 않았더라도 암묵적으로 확산 활성화 효과를 모델링한다는 것을 시사함.
• RNN-LMs가 제한된 워킹 메모리 덕분에 더 인지적으로 타당하다고 직관적으로 여겨지지만, T-LMs가 N400 반응에서 의미 자극과 같은 특정 신경인지 현상을 더 잘 포착함.
• 이러한 발견은 인지적 타당성을 평가할 때 인간의 워킹 메모리와의 아키텍처 유사성 외에도, 의미 촉진과 같은 핵심 신경인지 역학을 얼마나 잘 재현하는지 여부도 고려해야 한다는 것을 암시함.