[논문 리뷰] Studying the Inductive Biases of RNNs with Synthetic Variations of Natural Languages

Shauli Ravfogel, Yoav Goldberg외 1명|arXiv (Cornell University)|2019. 03. 15.

Natural Language Processing Techniques인용 수 16

한 줄 요약

이 논문은 어순, 케이스 표기, 동조 패턴의 차이가 있는 영어의 합성 변형을 생성함으로써 RNN의 인덕티브 바이어스를 연구하기 위한 통제된 실험 프레임워크를 제안한다.(parsed) 펜 트리뱅크 코퍼스를 기반으로 저자들은 매개변수화된 수정된 언어를 생성하고, RNN 모델이 주어진 주어와 목적어의 수사(단수/복수)를 예측하도록 훈련시킨다. 주요 발견 결과로는 RNN 모델이 최근성 편향(Recency bias)을 보이며(SVO에서 성능이 더 뛰어남), 명시적인 케이스 표기(특히 합성 형태일지라도)에서 크게 유리하며, 다중작업 다중사람 동조 학습을 통해 주어와 목적어 유형 간 일반화가 가능하다는 점이 확인되었다.

ABSTRACT

How do typological properties such as word order and morphological case marking affect the ability of neural sequence models to acquire the syntax of a language? Cross-linguistic comparisons of RNNs' syntactic performance (e.g., on subject-verb agreement prediction) are complicated by the fact that any two languages differ in multiple typological properties, as well as by differences in training corpus. We propose a paradigm that addresses these issues: we create synthetic versions of English, which differ from English in one or more typological parameters, and generate corpora for those languages based on a parsed English corpus. We report a series of experiments in which RNNs were trained to predict agreement features for verbs in each of those synthetic languages. Among other findings, (1) performance was higher in subject-verb-object order (as in English) than in subject-object-verb order (as in Japanese), suggesting that RNNs have a recency bias; (2) predicting agreement with both subject and object (polypersonal agreement) improves over predicting each separately, suggesting that underlying syntactic knowledge transfers across the two tasks; and (3) overt morphological case makes agreement prediction significantly easier, regardless of word order.

연구 동기 및 목표

• 특정 유형학적 특성(예: 어순, 형태적 케이스, 동조 패턴)이 RNN의 문법 일반화 학습 능력에 미치는 영향을 분리하여 분석하기 위해.
• 코퍼스 차이와 다중 유형학적 변수를 통제함으로써 다국어 비교의 한계를 해결하기 위해.
• RNN이 특정 문법적 구조를 다른 구조보다 선호하는 인덕티브 바이어스를 보이는지 조사하기 위해.
• 다중작업 학습을 통한 다중사람 동조 예측(주어와 목적어의 수사 예측)이 주어와 목적어 유형 간 문법 일반화를 향상시키는지 평가하기 위해.
• 명시적인 케이스 표기와 어순의 유연성 변화가 RNN의 동조 예측 성능에 미치는 영향을 규명하기 위해.

제안 방법

• 저자들은 유니버설 디펜던시 기반 펜 트리뱅크 코퍼스를 기반으로 합성 언어를 생성하기 위한 기초 자료로 사용한다.
• 구문 트리 구조를 수정하여 어순(예: SVO, SOV, VOS, OVS, OSV), 케이스 표기(명확하지 않은, 합성형, 목적어 표기), 동조 패턴(다중사람 동조)의 매개변수화된 변형을 생성한다.
• 각 합성 언어에 대해, 동사를 마스킹하고 RNN 모델이 주어와 목적어의 수사(단수/복수)를 예측하도록 훈련 데이터를 생성한다.
• 모델들은 마스킹된 동사 예측 작업에서 주어와 목적어의 단수/복수 특성을 정확하게 예측하는 능력으로 평가된다.
• 이 방법은 유형학적 매개변수를 한 번에 하나씩만 변화시켜, 그 영향이 모델 성능에 미치는 영향을 고립시킨다.
• 빈도 부족 가정( poverty-of-stimulus ) 프레임워크를 사용하여 RNN이 최근성 기반 일반화(최근에 본 주어 기반)를 구조적 위치 기반 일반화(첫 번째 주어 기반)보다 선호하는지 테스트한다.

실험 결과

연구 질문

• RQ1 어순(SVO 대비 SOV 등)이 RNN의 주어와 목적어의 수사 예측 능력에 유의미하게 영향을 미치는가?
• RQ2 명시적인 형태적 케이스 표기(예: 단수/복수 표기)가 RNN의 동조 예측 작업 성능에 어떤 영향을 미치는가?
• RQ3 다중사람 동조 예측(주어와 목적어의 수사 예측)을 다중작업 학습으로 수행할 경우, 단일작업 학습 대비 일반화 능력 향상이 이루어지는가?
• RQ4 RNN이 얼마나 강하게 최근성 편향을 보이며, 가장 최근에 나타난 주어 기반 일반화를 선호하는가?
• RQ5 합성형 케이스 표기(예: 단수와 복수에 동일한 표기 사용)가 명확한 케이스 표기 대비 성능에 어떤 영향을 미치는가?

주요 결과

• RNN은 유의미한 최근성 편향을 보이며, SVO 어순에서 주어 수사 예측 정확도가 95.7%에 이르지만, 어순이 유연한 경우는 88.6%로 낮아지고, SOV 및 VOS 어순에서는 더 낮은 성능을 보인다.
• 명시적인 형태적 케이스 표기가 성능을 크게 향상시킨다: 모든 어순에서 명확한 케이스 체계에서는 주어와 목적어의 수사 예측 정확도가 98%를 초과한다.
• 완전히 합성된 케이스 체계(단지 수사만 표기)에서도 성능은 높은 편이다: 어순이 자유로운 경우 주어 예측 정확도는 96.0%, 목적어 예측은 86.1%를 기록하여, 케이스 표기가 상당한 인덕티브 바이어스를 제공한다는 것을 입증한다.
• 다중사람 동조 학습(주어와 목적어의 수사 예측을 동시에 수행)은 단일작업 학습 대비 성능 향상을 보이며, 이는 주어와 목적어 유형 간 문법 지식의 전이가 가능하다는 것을 시사한다.
• 빈도 부족 상황에서 RNN은 최근성 기반 일반화(동사 이전에 가장 최근에 나타난 주어)를 구조적 위치 기반 일반화(첫 번째 주어)보다 선호함을 확인하여 최근성 편향을 확인한다.
• 케이스 표기가 없는 어순이 자유로운 조건에서 성능 저하가 심각하다: 목적어 예측 정확도가 60.2%에 그쳐, 케이스 표기가 주어를 구분하는 데 핵심적인 역할을 한다는 점을 강조한다.