[논문 리뷰] Targeted Syntactic Evaluation of Language Models

Rebecca Marvin, Tal Linzen|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 24인용 수 12

한 줄 요약

이 논문은 언어 모델의 대상 구문 평가를 위한 템플릿 기반 데이터셋을 소개한다. 최소한의 쌍으로 구성된 문법적이고 비문법적인 영어 문장을 생성하여, 모델이 올바른 형태에 더 높은 확률을 할당하는지 테스트한다. CCG 슈퍼태깅을 통한 다중 작업 학습을 거친 후에도 RNN 언어 모델은 객체 관계절을 거쳐 발생하는 동일성과 같은 복잡한 구문적 의존성에서 여전히 인간 수준에 크게 뒤지며, 성능이 떨어진다.

ABSTRACT

We present a dataset for evaluating the grammaticality of the predictions of a language model. We automatically construct a large number of minimally different pairs of English sentences, each consisting of a grammatical and an ungrammatical sentence. The sentence pairs represent different variations of structure-sensitive phenomena: subject-verb agreement, reflexive anaphora and negative polarity items. We expect a language model to assign a higher probability to the grammatical sentence than the ungrammatical one. In an experiment using this data set, an LSTM language model performed poorly on many of the constructions. Multi-task training with a syntactic objective (CCG supertagging) improved the LSTM's accuracy, but a large gap remained between its performance and the accuracy of human participants recruited online. This suggests that there is considerable room for improvement over LSTMs in capturing syntax in a language model.

연구 동기 및 목표

• 퍼플렉서티를 넘어서 언어 모델의 구문 일반화 능력을 평가하기 위한 통제 가능하고 확장 가능한 방법을 개발하기 위해.
• 신경망 언어 모델이 문법적과 비문법적 문장 쌍을 정확히 구분할 수 있는지 조사하기 위해.
• CCG 슈퍼태깅을 통한 구문적 지도를 통한 다중 작업 학습이 구문 성능에 어떤 영향을 미치는지 평가하기 위해.
• 어려운 구문적 구성 요소에서 모델 성능을 인간 성능과 비교하기 위해.
• 특히 비근접 의존성에서 언어 모델의 구문적 추론에 대한 체계적인 오류를 특정하기 위해.

제안 방법

• 특정 구문 현상에서만 문법성의 차이가 나는 최소한의 대조 문장 쌍을 템플릿을 사용해 자동으로 생성하기 위해.
• 세 가지 현상에 대해 문장 쌍을 구성하기 위해: 주어-동사 일치, 반사代명사, 부정극성 어휘(NPIs).
• n-gram 기반 모델, 단일 언어 코퍼스에서 학습한 RNN 언어 모델, 언어 모델링과 CCG 슈퍼태깅을 동시에 최적화하는 다중 작업 RNN을 훈련하기 위해.
• 각 쌍에서 문법적 문장과 비문법적 문장에 대해 모델이 할당한 확률을 비교하여 평가하기 위해.
• 성능 기준을 확립하기 위해 동일한 자극을 사용해 인간 평가를 수행하기 위해.
• 세부적인 오류 분석을 통해 모델의 편향, 예를 들어 객체 관계절에서의 흡인 오류를 특정하기 위해.

실험 결과

연구 질문

• RQ1 언어 모델는 문법성의 유일한 차이가 있는 최소한의 쌍에서 문법적 문장에 더 높은 확률을 할당할 수 있는가?
• RQ2 CCG 슈퍼태깅을 통한 다중 작업 학습은 RNN 언어 모델의 구문 일반화 능력을 어떻게 향상시키는가?
• RQ3 언어 모델은 비근접 구문적 의존성, 예를 들어 객체 관계절을 거쳐 발생하는 일치에서 어느 정도 실패하는가?
• RQ4 동일한 구문 작업에서 모델 성능 패턴은 인간 성능과 어떻게 비교되는가?
• RQ5 언어 모델은 구문적 결정 과정에서 어떤 체계적인 편향이나 힌트를 보이는가?

주요 결과

• n-gram 기반 모델은 우연 수준의 성능을 보였으며, 이는 문법 일반화가 n-gram 통계를 넘어서야 한다는 것을 시사한다.
• 단일 작업 RNN은 국소적 주어-동사 일치에서는 잘 수행했지만, 비근접 의존성에서는 실패했으며, 객체 관계절을 거쳐 발생하는 일치에서는 우연 수준에 가까운 성능을 보였다.
• 다중 작업 RNN은 비근접 의존성에서 성능이 향상되었지만, 여전히 인간 참가자들에 비해 유의미하게 뒤져 있었으며, 특히 복잡한 케이스에서 그러했다.
• 두 RNN 모두 흡인 오류를 보였으며, 객체 관계절에서 주어의 주어가 아니라 내재된 주어와 일치하는 동사를 선호했다.
• 단일 작업 RNN은 고립된 동사를 선호하는 경향을 보였으며, 이는 어린이 언어 습득에서 관찰되는 패턴과 유사했다.
• 인간 참가자들도 복수/복수 객체 관계절에서 오류를 범했지만, 전체적으로는 여전히 모델들보다 뛰어난 성능을 보였다.