[논문 리뷰] Exploring the Syntactic Abilities of RNNs with Multi-task Learning

Émile Enguehard, Yoav Goldberg외 1명|arXiv (Cornell University)|2017. 06. 12.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

이 논문은 주어-동사 일치 예측을 CCG 슈퍼태깅 또는 언어 모델링과 함께 병행하여 훈련할 경우, 순환 신경망(RNNs)이 더 강건한 문법적 표현을 학습할 수 있는지 조사한다. 다중 작업 학습은 특히 복잡한 문장에서 오류율을 크게 감소시켰으며, 이는 RNNs가 더 강력한 감독 아래에서 더 나은 문법 일반화를 달성할 수 있음을 보여주며, 일치 데이터가 슈퍼태깅과 같은 관련 문법 작업의 성능을 향상시킬 수 있음을 시사한다.

ABSTRACT

Recent work has explored the syntactic abilities of RNNs using the subject-verb agreement task, which diagnoses sensitivity to sentence structure. RNNs performed this task well in common cases, but faltered in complex sentences (Linzen et al., 2016). We test whether these errors are due to inherent limitations of the architecture or to the relatively indirect supervision provided by most agreement dependencies in a corpus. We trained a single RNN to perform both the agreement task and an additional task, either CCG supertagging or language modeling. Multi-task training led to significantly lower error rates, in particular on complex sentences, suggesting that RNNs have the ability to evolve more sophisticated syntactic representations than shown before. We also show that easily available agreement training data can improve performance on other syntactic tasks, in particular when only a limited amount of training data is available for those tasks. The multi-task paradigm can also be leveraged to inject grammatical knowledge into language models.

연구 동기 및 목표

• RNN의 복잡한 문법적 구조를 포착하는 데에 제약이 있는지 아키텍처적 제약 때문인지, 또는 자연어 코퍼스로부터의 부족한 감독 때문인지 파악하는 것.
• 보조 문법 작업(예: CCG 슈퍼태깅 또는 언어 모델링)과 함께 병행 훈련하면 RNN의 주어-동사 일치 예측 성능, 특히 복잡한 문장에서 향상되는지 평가하는 것.
• 일치 예측 데이터가 CCG 슈퍼태깅과 같은 저자원 문법 작업의 성능 향상에 효과적인 약한 감독으로 기능할 수 있는지 조사하는 것.
• 다중 작업 훈련이 퍼플렉서티를 감소시키지 않더라도 언어 모델의 문법 인식 능력을 향상시키는지 평가하는 것.

제안 방법

• 단일 RNN을 주어-동사 일치 예측과 CCG 슈퍼태깅 또는 언어 모델링 중 하나를 함께 수행하도록 훈련시켰다.
• 모델이 여러 작업 간에 은닉 표현을 공유하고, 작업별 손실의 가중합을 통해 공동 최적화되는 다중 작업 학습 프레임워크를 사용했다.
• 간단한 히ュ리스틱이 실패하는 복잡한 관계절이 포함된 검증 세트를 사용해 일치 예측 성능을 평가했다.
• 어휘 기반 및 품사 태그 기반 예측을 사용하여 문법적과 비문법적 동사 형태의 상대적 가능도를 비교함으로써 언어 모델의 문법 인식 능력을 측정했다.
• 모델의 문법 제약에 대한 민감도를 평가하기 위해 어휘 기반 및 비어휘 기반 평가 방법을 모두 탐색했다.
• 단일 작업 모델과 다중 작업 모델을 비교하기 위해 추론 분석을 수행했으며, 특히 슈퍼태깅의 저자원 환경에서의 성능 향상을 중점적으로 다뤘다.

실험 결과

연구 질문

• RQ1 문법 보조 작업과 함께 병행 훈련하면 RNN의 주어-동사 일치 예측 성능, 특히 복잡한 문장에서 향상되는가?
• RQ2 일치 예측과 함께 병행 훈련하면 퍼플렉서티가 감소하지 않더라도 언어 모델의 문법 인식 능력이 향상되는가?
• RQ3 일치 데이터는 CCG 슈퍼태깅과 같은 저자원 문법 작업의 성능 향상에 효과적인 약한 감독으로 기능할 수 있는가?
• RQ4 RNN의 문법 제약는 아키텍처적 제약 때문인지, 아니면 자연어 코퍼스로부터의 부족한 감독 때문인가?

주요 결과

• CCG 슈퍼태깅과 함께 병행 훈련하면 복잡한 관계절 문장에서의 일치 오류율이 49.4%에서 23.8%로 감소하였으며, 정확도는 50.6%에서 76.2%로 상승하였다.
• 언어 모델링과 함께 병행 훈련하면 퍼플렉서티는 감소하지 않았지만, 문법적 동사 형태의 상대적 순위가 크게 향상되어 더 강한 문법 인식 능력을 보였다.
• CCG 훈련 데이터가 제한적인 상황에서는 일치 예측과 함께 병행 훈련이 슈퍼태깅 정확도를 향상시켰으며, 이는 일치 데이터가 약한 감독으로서의 유용성을 보여주었다.
• 일치 예측과 함께 병행 훈련된 언어 모델은 품사 태그 기반 예측을 통해 정확한 동사 형태를 식별하는 데 거의 전문가 수준의 성능을 달성했으며, 단일 작업 언어 모델과 기본 히ュ리스틱보다 뛰어난 성능을 보였다.
• 명시적인 일치 헤드가 없더라도 병행 훈련된 언어 모델은 문법적 형태를 비문법적 형태보다 선호하는 확률 분포를 생성하여 더 나은 문법 일반화 능력을 보였다.
• 결과는 이전 연구에서 관찰된 것보다 RNN이 더 복잡한 문법 표현을 학습할 수 있음을 시사하며, 이전 연구의 제약은 아키텍처의 부적합성보다는 감독의 부족 때문이었을 가능성이 높다.