[논문 리뷰] How well does surprisal explain N400 amplitude under different experimental conditions?

James A. Michaelov, Benjamin K. Bergen|arXiv (Cornell University)|2020. 10. 09.

Neurobiology of Language and Bilingualism참고 문헌 62인용 수 41

한 줄 요약

이 연구는 순환 신경망 언어 모델(RNN-LM)을 통해 측정한 놀라움(surprisal)이 다양한 신경언어학적 실험에서 N400 진폭을 예측할 수 있는지 조사한다. 대부분의 조건에서는 놀라움이 N400 진폭을 잘 설명하지만, 수량사, 사건 구조 위반, 형태구문적 이상과 같은 경우에서는 실패하며, 이는 N400가 인덱싱하는 의미론적 및 어휘 처리가 순수한 통계적 언어 예측을 넘어서는 것을 시사한다.

ABSTRACT

We investigate the extent to which word surprisal can be used to predict a neural measure of human language processing difficulty - the N400. To do this, we use recurrent neural networks to calculate the surprisal of stimuli from previously published neurolinguistic studies of the N400. We find that surprisal can predict N400 amplitude in a wide range of cases, and the cases where it cannot do so provide valuable insight into the neurocognitive processes underlying the response.

연구 동기 및 목표

• 순환 신경망 언어 모델(RNN-LM)에서 유도된 놀라움이 다양한 신경언어학적 실험 조건에서 N400 진폭을 예측할 수 있는지 테스트하기 위해.
• 놀라움 예측과 실제 N400 반응 사이의 체계적 불일치를 규명하여 순수한 통계적 언어 모델이 신경인지 처리를 포괄하는 데서 겪는 한계를 드러내기 위해.
• 하나의 하향식 통계적 학습을 넘어서, 확산 활성화 또는 의미 가중치와 같은 추가적인 인지 메커니즘이 N400 반응을 완전히 설명하기 위해 필요한지 탐색하기 위해.
• 특히 N400 성분과 관련하여 RNN-LM이 인간 언어 처리의 인지적 타당성 모델로 얼마나 타당한지 평가하기 위해.

제안 방법

• 11개의 실험에서 얻은 자극에 대해 Jozefowicz 등(2016), Gulordava 등(2018)이 개발한 두 가지 사전 훈련된 RNN-LM 아키텍처를 사용하여 놀라움을 계산하였다.
• 표준 놀라움 공식을 적용: S(wi) = −log P(wi|w1...wi−1), 여기서 놀라움은 이전 문맥에 기반한 단어의 역확률을 반영한다.
• 공개된 ERP 연구에서 측정된 N400 진폭과 모델 예측 놀라움을 비교하여 예측 정확도를 평가하였다.
• 클로즈 확률, 의미 관련성, 일반성, 비정상성, 수량사, 형태구문적/사건 구조 위반과 같은 다양한 실험 조건에서 모델 성능을 체계적으로 평가하였다.
• 놀라움 예측의 유의미한 차이가 N400 진폭의 유의미한 차이를 유도하는지 여부를 통계적 비교를 통해 평가하였다.
• 문장 벡터 등을 통한 의미 유사도 가중치 고려를 통해 모델 예측과 인간의 신경 반응 간의 일치도를 향상시킬 수 있는지 탐색하였다.

실험 결과

연구 질문

• RQ1 RNN-LM에서 유도된 놀라움은 다양한 실험 조건에서 N400 진폭을 어느 정도 잘 예측하는가?
• RQ2 놀라움이 N400 진폭을 예측하지 못하는 언어적 맥락은 무엇이며, 이러한 실패는 기저의 신경인지 메커니즘을 어떻게 드러내는가?
• RQ3 수량사, 사건 구조 위반, 형태구문적 이상과 같은 특정 언어 현상에서는 놀라움이 N400 반응을 과도 또는 과소 예측하는가?
• RQ4 의미 유사도 또는 확산 활성화 메커니즘을 포함시킴으로써 RNN-LM 기반의 놀라움 모델이 N400 반응에 대한 예측력을 향상시킬 수 있는가?

주요 결과

• RNN-LM에서 유도된 놀라움은 클로즈 확률, 의미 관련성, 의미 일반성 등 11개 실험 조건 중 9개에서 N400 진폭을 유의미하게 예측한다.
• 수량사 조건(Urbach & Kutas, 2010)에서는 놀라움이 TYPICAL 명사가 FEW 또는 RARELY와 짝지어질 때 N400 진폭 감소가 더 적게 나타나는 발견을 재현하지 못하여, 수량 표현의 더 명시적인 표현이 필요함을 시사한다.
• 사건 구조 위반 작업(Kim & Osterhout, 2005)에서는 놀라움이 N400 진폭보다 위반에 더 민감하게 반응한다. 특히 유인 위반 자극은 대조군보다 놀라움이 더 높지만 N400 진폭은 낮아, 놀라움이 이러한 경우의 처리 곤란도를 과대평가함을 시사한다.
• 형태구문적 이상(Ainsworth-Darnell 등, 1998)에서는 의미적으로 비정상적이지만 문법적으로 허용되는 단어에 대해 놀라움이 의미적 비정상성과 문법적 비정상성이 모두 있는 경우보다 낮은 값을 예측한다. 이는 인간의 N400 데이터와 정반대되며, 모델가 인간의 문법적 구조 감지 민감도를 충분히 반영하지 못하고 있음을 시사한다.
• 연구는 놀라움이 N400 반응의 많은 측면을 잘 설명하지만, 더 깊은 의미 통합이나 문법 감지가 필요한 경우에는 실패함을 결론 내리며, 확산 활성화와 같은 추가 메커니즘이 필요함을 시사한다.
• 결과는 N400 진폭이 언어 입력만으로는 완전히 설명될 수 없으며, 신경인지 처리 과정이 순수한 통계적 언어 예측을 넘어서는 것을 지지한다.