[논문 리뷰] A Systematic Assessment of Syntactic Generalization in Neural Language Models

Jennifer Hu, Jon Gauthier외 3명|arXiv (Cornell University)|2020. 05. 07.

Topic Modeling참고 문헌 58인용 수 26

한 줄 요약

이 논문은 다양한 문법 현상을 포함하는 34개의 테스트 세트를 통해 신경망 언어 모델의 문법 일반화 능력을 체계적으로 평가한다. 연구 결과, 모델 아키텍처, 특히 트랜스포머에서의 구조적 지도 학습과 어텐션 메커니즘의 영향이 훈련 데이터 크기보다 훨씬 더 크며, 퍼플렉서티는 문법 일반화 능력과 거의 상관이 없다는 것을 발견했다.

ABSTRACT

While state-of-the-art neural network models continue to achieve lower perplexity scores on language modeling benchmarks, it remains unknown whether optimizing for broad-coverage predictive performance leads to human-like syntactic knowledge. Furthermore, existing work has not provided a clear picture about the model properties required to produce proper syntactic generalizations. We present a systematic evaluation of the syntactic knowledge of neural language models, testing 20 combinations of model types and data sizes on a set of 34 English-language syntactic test suites. We find substantial differences in syntactic generalization performance by model architecture, with sequential models underperforming other architectures. Factorially manipulating model architecture and training dataset size (1M--40M words), we find that variability in syntactic generalization performance is substantially greater by architecture than by dataset size for the corpora tested in our experiments. Our results also reveal a dissociation between perplexity and syntactic generalization performance.

연구 동기 및 목표

• 최신 신경망 언어 모델이 퍼플렉서티 최적화를 위해 훈련되더라도 인간과 유사한 문법 일반화를 습득하는가를 평가하기 위해.
• 모델 아키텍처와 훈련 데이터 크기의 상대적 기여도가 문법 일반화 성능에 어떻게 영향을 미치는가를 조사하기 위해.
• 퍼플렉서티와 문법 일반화 간의 이분화를 검토하여, 낮은 퍼플렉서티가 더 나은 문법 이해를 의미한다는 가정을 도전하기 위해.
• 통제된 언어 변수를 가진 34개의 테스트 세트를 사용하여 문법 일반화에 대한 확장 가능하고 표준화된 평가 프레임워크를 제공하기 위해.

제안 방법

• 신문 기사 코퍼스에서 100만~4200만 토큰의 데이터 서브셋 4개를 사용해, 순환형, 컨volutional, 트랜스포머, n-gram 기반 기준 모델 4종류를 훈련시켰다.
• 심리언어학적 실험 설계를 기반으로 하여, 각각 특정 문법 현상을 테스트하는 34개의 문법 테스트 세트를 설계하였으며, 어휘적 및 문장 구조적 변수를 통제하였다.
• 모델이 문법적으로 올바른 형식에 더 높은 확률을 할당하는지를 측정하기 위해 '문법 일반화(SG)' 점수를 사용하였다.
• 높은 성능를 내기 위해 필요한 기본 언어 표현을 기반으로 테스트 세트를 6개의 문법 회로로 분류하였다.
• 최대 20억 토큰까지 훈련된 시장에서 구할 수 있는 모델을 평가하여 내부에서 훈련한 모델과 비교하였다.
• 요인 설계를 사용하여 아키텍처와 데이터 크기의 효과가 SG 점수에 미치는 영향을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 퍼플렉서티를 향상시키는 것이 신경망 언어 모델의 문법 일반화 능력을 향상시키는가?
• RQ2 모델 아키텍처와 훈련 데이터 크기가 함께 문법 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 순서 기반 학습 대비 구조적 지도 학습을 통해 훈련할 경우, 문법 일반화 능력 향상 정도는 어느 정도인가?
• RQ4 다양한 종류의 문법 현상 간에 문법 일반화 성능에 체계적인 차이가 존재하는가?
• RQ5 퍼플렉서티와 문법 일반화 능력 간에 신뢰할 수 있는 상관관계가 존재하는가?

주요 결과

• 퍼플렉서티와 문법 일반화 간에 상당한 이분화가 존재한다: 유사한 퍼플렉서티 점수를 가진 모델이라도 문법 테스트에서 성능이 크게 다를 수 있다.
• 모델 아키텍처가 훈련 데이터 크기보다 문법 일반화에 더 큰 영향을 미치며, 트랜스포머는 작은 데이터셋에서도 RNN보다 뛰어난 성능을 보인다.
• 구조적 지도 학습을 받은 모델는 순수하게 순서 기반 학습을 100배 이상 더 많은 데이터로 훈련한 모델와 동일한 SG 점수를 달성하여, 아키텍처의 인덕티브 바이어스의 강력함을 입증한다.
• 일부 트랜스포머 모델은 약 200배 더 많은 데이터로 훈련된 모델의 SG 성능을 재현하며, 어텐션 메커니즘이 문법 학습에 매우 효율적임을 시사한다.
• 다양한 아키텍처는 각기 다른 문법 회로에서 서로 다른 상대적 강점을 보이며, 이는 다양한 문법 현상에 대해 모델이 다른 기초 처리 능력을 활용한다는 것을 시사한다.
• 결과적으로, 아키텍처 설계—특히 어텐션 메커니즘과 명시적 구조적 지도 학습—이 인간과 유사한 문법 일반화를 습득하는 데 데이터 스케일보다 훨씬 더 중요하다는 것이 밝혀졌다.