[논문 리뷰] Distinct patterns of syntactic agreement errors in recurrent networks and humans

Tal Linzen, Brian Leonard|arXiv (Cornell University)|2018. 07. 18.

Neurobiology of Language and Bilingualism참고 문헌 8인용 수 42

한 줄 요약

이 논문은 RNN과 인간이 attractors와 통사 구조 전반에 걸쳐 주어-동사 일치를 실수하는 방식을 비교하고, 그 과정에서 유사점과 중요한 차이점을 드러내어 RNN의 표현이 인간의 통사 처리와 다르게 전개될 수 있음을 시사한다.

ABSTRACT

Determining the correct form of a verb in context requires an understanding of the syntactic structure of the sentence. Recurrent neural networks have been shown to perform this task with an error rate comparable to humans, despite the fact that they are not designed with explicit syntactic representations. To examine the extent to which the syntactic representations of these networks are similar to those used by humans when processing sentences, we compare the detailed pattern of errors that RNNs and humans make on this task. Despite significant similarities (attraction errors, asymmetry between singular and plural subjects), the error patterns differed in important ways. In particular, in complex sentences with relative clauses error rates increased in RNNs but decreased in humans. Furthermore, RNNs showed a cumulative effect of attractors but humans did not. We conclude that at least in some respects the syntactic representations acquired by RNNs are fundamentally different from those used by humans.

연구 동기 및 목표

• RNN의 통사 표상이 문장 처리 중 인간이 사용하는 표상과 유사한지 여부를 조사한다.
• 끌림자와 그 구조적 위치가 RNN과 인간 모두의 일치 오류에 어떤 영향을 미치는지 고찰한다.
• PP와 RC 수식어 간의 오류 패턴 차이가 근본적인 표상을 시사하는지 실험한다.
• 여러 끌림자에서 누적 끌림 효과가 인간과 RNN에서 어떻게 나타나는지 평가한다.

제안 방법

• Wikipedia 문장에서 만든 서두를 이용해 후보로 제시된 동사 수를 예측하도록 50개 및 1000개 히든 유닛을 갖춘 20개의 LSTM 기반 RNN을 학습시킨다.
• 삭제된 동사를 포함한 서두를 사용해 단수/복수 일치를 이끌어내는 결정(은/들)을 세 가지 시간 압박 패러다임(RSVP, SPR, Untimed) 하에서 탐색한다.
• 실험 1에서 인간 참가자의 오류를 동일 자료에 대한 RNN 예측과 비교해 질적 유사점과 차이점을 확인한다.
• RC와 PP 구성을 사용해 누적 끌림과 RC 길이 휴리스틱의 효과를 테스트한다.
• 1000차원 RNN으로 인간 결과를 모방하고 RC 길이와 어휘 순서를 조작해 짧은 RC 휴리스틱을 탐구한다.
• 저자들의 GitHub 저장소에 재현을 위한 코드와 자료를 제공한다.

실험 결과

연구 질문

• RQ1 끌림자가 주어와 수가 다를 때 RNN과 인간 모두 끌림 효과를 보이는가?
• RQ2 끌림자들의 구조적 위치(PP 대 RC)가 인간과 RNN의 일치 오류에 어떤 영향을 미치는가?
• RQ3 여러 끌림자에서 누적 끌림이 RNN에서 나타나는가, 그리고 이것이 인간과 일치하는가?
• RQ4 PP와 RC 수식어 간의 오류 패턴 차이가 서로 다른 근본적 표상을 드러내는가?

주요 결과

• 사람은 국지적 명사가 주어와 수가 다를 때 끌림 오류가 증가하는 것을 보인다.
• 오류 비대칭성: 주어가 단수이고 끌림자가 복수일 때 끌림 오류가 더 자주 발생한다.
• 실험 1에서 인간의 경우 PP 끌림자가 RC 끌림자보다 더 큰 오류를 유발하는 반면, RNN은 RC에서 더 많은 오류를 보이는 경향이 있다.
• RNN은 여러 끌림자에서 누적 끌림 효과를 보이지만 실험 2의 인간과 달리 누적 효과를 나타낸다.
• 자료의 RC 순서를 반대로 하면 RNN의 오류가 증가하는데, 이는 근거리 기반 간섭보다는 짧은 RC 휴리스틱을 지지한다.