[논문 리뷰] Fine-Grained Prediction of Syntactic Typology: Discovering Latent Structure with Supervised Learning

Dingquan Wang, Jason Eisner|arXiv (Cornell University)|2017. 10. 11.

Natural Language Processing Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 단어성분표호(POS) 시퀀스만을 사용하여 언어 내 57개의 의존관계에 대한 미세한 문법 유형(예: dobj, amod 등)의 방향성(예: 오른쪽 중심 여부)을 예측하기 위한 지도학습 방법을 제안한다. 실제 언어와 합성 언어의 조합으로 훈련한 결과, 문법 유도 기반 모델들을 능가하는 높은 정확도를 달성하였으며, POS 태그에 노이즈가 있을 경우에도 강건하게 일반화되는 성능을 보였다.

ABSTRACT

We show how to predict the basic word-order facts of a novel language given only a corpus of part-of-speech (POS) sequences. We predict how often direct objects follow their verbs, how often adjectives follow their nouns, and in general the directionalities of all dependency relations. Such typological properties could be helpful in grammar induction. While such a problem is usually regarded as unsupervised learning, our innovation is to treat it as supervised learning, using a large collection of realistic synthetic languages as training data. The supervised learner must identify surface features of a language's POS sequence (hand-engineered or neural features) that correlate with the language's deeper structure (latent trees). In the experiment, we show: 1) Given a small set of real languages, it helps to add many synthetic languages to the training data. 2) Our system is robust even when the POS sequences include noise. 3) Our system on this task outperforms a grammar induction baseline by a large margin.

연구 동기 및 목표

• 의존관계의 방향성(예: dobj, amod 등)을 문법 트리가 아닌 POS 태그가 부여된 코퍼스만을 사용하여 예측하는 것.
• 합성 언어에서의 지도학습이 실존하는 새로운 언어로의 일반화 성능을 향상시킬 수 있는지 조사하는 것.
• 표면 수준의 POS 시퀀스에서 잠재적인 문법적 구조를 추출하여 다국어 NLP를 위한 언어 임베딩을 가능하게 하는 방법 개발.
• WALS와 같은 수작업 기반 문법 유형 데이터베이스가 완전하거나 일관되지 않을 수 있으므로, 데이터 기반의 강건한 대안 제공.
• 기본 어순 경향성에 대한 사전 지식을 제공하여 문법 유도를 지원하는 것.

제안 방법

• 모델은 각 의존관계에 대해 방향성 점수(0에서 1 사이의 값)를 레이블로 사용하여 문법 유형 예측을 지도학습 문제로 간주한다.
• 훈련 데이터로는 확률적 문법을 통해 생성한 1,000개의 합성 언어와 Universal Dependencies 프로젝트의 100개의 실제 언어를 포함한다.
• 특징은 POS 시퀀스에서 추출되며, 수작업으로 설계된 것(예: POS 이중어순, 삼중어순) 또는 신경망을 통해 학습된 것 중 하나를 사용한다.
• 다중 출력 회귀기 모델이 57개의 UD 의존관계 유형에 대해 동시에 방향성을 예측하며, 손실은 관계 빈도에 따라 가중된다.
• 평가 시험은 보류된 실제 언어에서 수행되며, 평균 절대 오차(MAE)와 방향성 스펙트럼의 순위 정확도를 측정한다.
• 실제 어노테이션 오류를 시뮬레이션하기 위해 POS 시퀀스에 노이즈를 도입하여 강인성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 실제로 관측되지 않은 언어의 문법 방향성 예측에서, 합성 언어에서의 지도학습이 비지도학습 또는 제로샷 학습 방법보다 성능을 향상시키는가?
• RQ2 합성 언어를 포함시킬 경우, 실존 언어 데이터만으로 훈련된 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 입력이 노이즈가 있을 경우에도, 단지 POS 시퀀스만으로도 미세한 의존관계 방향성을 얼마나 잘 예측할 수 있는가?
• RQ4 예측된 방향성 벡터가 효과적인 언어 임베딩 또는 문법 유도의 사전 지식으로 활용될 수 있는가?
• RQ5 기존의 문법 유도 기반 모델 대비, 기본 어순 경향성을 더 잘 포착하는가?

주요 결과

• 훈련 데이터에 합성 언어를 추가하면 보류된 실제 언어에서의 성능이 크게 향상되어, 유형 예측에서 데이터 증강의 유용성을 입증한다.
• 새로운 언어에서 57개의 의존관계 유형에 대해 동시에 방향성을 예측할 때 총합 오차(MAE < 0.1)가 낮게 유지되며, 골드 스탠다드 어노테이션과 유사한 결과를 도출한다.
• POS 시퀀스에 노이즈가 포함되어도 시스템은 높은 예측 정확도를 유지하며, 태그의 20% 이하가 손상된 경우에도 강건성을 유지한다.
• 문법 유도 기반 모델 대비 방향성 예측에서 큰 성능 향상을 보이며, 이는 문법 유형 사전 지식이 문법 유도를 안내하는 데 효과적일 수 있음을 시사한다.
• 모델은 방향성 스펙트럼에 따라 언어를 일관되고 의미 있는 방식으로 순위 매기며, 유형적 다양성에 걸쳐도 안정적인 일반화 성능를 보인다.
• 이 설정에서는 신경망 특징가 수작업 특징보다 성능이 떨어지지만, 향후 작업에서 단어 임베딩과 조합하면 더 효과적일 수 있다.