[논문 리뷰] Neural Language Models as Psycholinguistic Subjects: Representations of Syntactic State

Richard Futrell, Ethan Wilcox외 4명|arXiv (Cornell University)|2019. 03. 08.

Natural Language Processing Techniques참고 문헌 44인용 수 11

한 줄 요약

이 논문은 신경망 언어 모델이 심리언어학적 방법을 통해 점진적인 문법 상태를 표현하는지 조사한다. 실험은 문법적 모호성이 있는 인위적 문장들에 대해 네 가지 모델을 테스트한다. 결과적으로 대규모 LSTMs와 RNNGs는 인간과 유사한 문법 상태 및 형태적 신호에 대한 민감성을 보이며, 소규모 LSTMs는 강력한 문법 상태 표현을 유지하지 못한다.

ABSTRACT

We deploy the methods of controlled psycholinguistic experimentation to shed light on the extent to which the behavior of neural network language models reflects incremental representations of syntactic state. To do so, we examine model behavior on artificial sentences containing a variety of syntactically complex structures. We test four models: two publicly available LSTM sequence models of English (Jozefowicz et al., 2016; Gulordava et al., 2018) trained on large datasets; an RNNG (Dyer et al., 2016) trained on a small, parsed dataset; and an LSTM trained on the same small corpus as the RNNG. We find evidence that the LSTMs trained on large datasets represent syntactic state over large spans of text in a way that is comparable to the RNNG, while the LSTM trained on the small dataset does not or does so only weakly.

연구 동기 및 목표

• 신경망 언어 모델이 인간의 심리언어학적 처리 방식과 유사하게 점진적인 문법 상태를 표현하는지 평가하기.
• 모델이 어휘적 신호(예: 동사 형태, 어휘구조)를 사용하여 문법 상태 경계를 추론하는지 조사하기.
• 명시적인 문법 감독(예: RNNG) 여부와 다양한 훈련 데이터 크기를 갖춘 모델을 비교하여 문법 상태 표현을 가능하게 하는 요인을 분리하기.
• 긴 텍스트 스트림 동안 문법 상태 표현이 떨어지거나 안정적으로 유지되는지 판단하기.
• 신경망이 문법적 모호성에 대해 인간과 유사한 Garden Path 효과를 보이는지 평가하기.

제안 방법

• 모델 예측 신뢰도를 측정하기 위해 놀라움도수(surprisal)를 사용하며, 이를 $ S(x_i) = -\log_2 p(x_i|h_{i-1}) $ 로 계산하여 핵심 단어에서의 모델 행동을 정량화한다.
• 주로 문법 상태 표현을 탐색하기 위해 설계된 인위적 문장들을 사용한 통제된 심리언어학 실험을 수행하며, 주동사/감소형 관계절 모호성과 NP/Z 모호성 포함.
• 네 가지 모델을 테스트: 두 개의 대규모 LSTM(JRNN, GRNN), 하나의 RNNG(명시적 문법 구조 포함), RNNG와 동일한 데이터로 훈련된 소규모 LSTM.
• 해소되는 동사에서 감소형과 비감소형 관계절 조건 간의 놀라움도수 차이를 Garden Path 효과로 측정한다.
• 감소형 대비 비감소형 문법 구조와 모호한 대비 비모호한 분사형 동사 형태 간의 상호작용 효과를 분석하여 신호 통합 능력을 평가한다.
• 통계 모델링을 통해 초과가산 놀라움도수 효과를 테스트하여, 모델이 다중 신호를 문법 상태에 통합하는지 확인한다.

실험 결과

연구 질문

• RQ1 신경망 언어 모델은 인간의 문법 처리 방식과 유사하게 점진적인 문법 상태를 표현하는가?
• RQ2 모델은 어떤 텍스트적 신호(예: 동사 형태나 어휘구조)를 사용하여 문법 상태의 시작과 끝을 추론하는가?
• RQ3 모델은 복잡한 긴 텍스트 스트림 동안 문법 상태 표현을 유지할 수 있는가, 아니면 점차 약화되는가?
• RQ4 명시적 문법 감독(예: RNNG)을 갖춘 모델과 일반적인 LSTMs 간의 문법 상태 표현 능력은 어떻게 비교되는가?
• RQ5 모델은 문법적 모호성에 대해 인간과 유사한 Garden Path 효과를 어느 정도 보이는가?

주요 결과

• 모든 모델가 기본적인 Garden Path 효과를 보였으며, 초기 동사가 감소형 관계절에 속해 있을 경우, 해소되는 동사에서 놀라움도수가 증가했다.
• RNNG가 가장 강한 Garden Path 효과(3.6 비트)를 보였고, GRNN(3.6 비트), JRNN(2.8 비트), TinyLSTM(0.3 비트)의 순서로 이어졌으며, 이는 소규모 LSTMs가 약한 문법 상태 표현을 갖는다는 것을 시사한다.
• 대규모 LSTMs와 RNNG는 모호한 동사 형태 조건에서 초과가산 놀라움도수를 보였으며, 이는 형태적 및 문법적 신호를 통합한다는 것을 의미한다. 반면 TinyLSTM는 그렇지 않았다 ($ p = 0.45 $).
• 비모호한 과거분사형 동사 조건에서도 TinyLSTM를 제외한 모든 모델이 유의미한 Garden Path 효과를 보였다 ($ p < 0.01 $), 이는 모델들이 형태적 신호를 확실한 것이 아니라 노이즈로 간주한다는 것을 시사한다.
• RNNG와 대규모 LSTMs는 보조절의 전체 문법적 행동을 안정적으로 포착했지만, 소규모 LSTMs는 이를 실패했다.
• 거시적 문법 구조 표현은 대규모 훈련 데이터 또는 명시적 문법 감독이 필요하며, 미세한 신호 통합은 대규모 데이터가 필요하다.