[논문 리뷰] 75 Languages, 1 Model: Parsing Universal Dependencies Universally

Dan Kondratyuk, Milan Straka|arXiv (Cornell University)|2019. 04. 03.

Natural Language Processing Techniques참고 문헌 38인용 수 23

한 줄 요약

UDify는 75개 언어에서 124개의 Universal Dependencies 트리뱅크를 하나의 통합 데이터셋으로 피지테이닝한 다국어, 다중 작업 트랜스포머 모델이다. 다국어 BERT 인코더와 작업별 레이어 주의 메커니즘, 강력한 정규화를 활용하여, 모든 언어에서 UPOS, UFeats, 어형 어근, UAS, LAS 등 주요 작업에서 최고 성능 또는 경쟁 가능한 성능을 달성한다. 특히 자원이 적은 언어에서 두드러진 성능 향상을 보이며, 훈련 중에 볼 수 없었던 언어로의 강력한 제로샷 일반화 성능을 보인다.

ABSTRACT

We present UDify, a multilingual multi-task model capable of accurately predicting universal part-of-speech, morphological features, lemmas, and dependency trees simultaneously for all 124 Universal Dependencies treebanks across 75 languages. By leveraging a multilingual BERT self-attention model pretrained on 104 languages, we found that fine-tuning it on all datasets concatenated together with simple softmax classifiers for each UD task can result in state-of-the-art UPOS, UFeats, Lemmas, UAS, and LAS scores, without requiring any recurrent or language-specific components. We evaluate UDify for multilingual learning, showing that low-resource languages benefit the most from cross-linguistic annotations. We also evaluate for zero-shot learning, with results suggesting that multilingual training provides strong UD predictions even for languages that neither UDify nor BERT have ever been trained on. Code for UDify is available at https://github.com/hyperparticle/udify.

연구 동기 및 목표

• 75개 언어에서 통합된 유니버설 품사, 형태소적 특징, 어형 어근, 의존 구조 트리를 동시에 예측할 수 있는 통합 다국어 모델을 개발하는 것.
• 모든 UD 트리뱅크를 연결하여 훈련하면, 특히 자원이 적은 언어에서 성능 향상이 이루어지는지 평가하는 것.
• 다국어 사전학습을 통한 교차 언어 전이를 활용하여, 훈련 중에 볼 수 없었던 언어로의 제로샷 일반화 성능을 평가하는 것.
• 다국어 BERT의 자기주의 메커니즘이 다양한 언어 간 일반화 가능한 문법 패턴을 포착할 수 있는지 조사하는 것.
• 각 언어별 별도의 모델을 훈련할 필요를 줄이기 위해, 모든 언어에서 뛰어난 성능을 보이는 단일 모델 솔루션을 제시하는 것.

제안 방법

• 104개 언어를 지원하는 다국어 BERT 기본 모델을, 모든 124개 UD 트리뱅크를 연결한 데이터셋에 대해 피지테이닝하고, 모든 언어에 동일한 문맥 임베딩을 사용하는 것.
• 각 UD annotation 작업을 위한 언어에 종속되지 않은 문법적 표현을 추출하기 위해 작업별 레이어 주의 메커니즘을 적용하는 것.
• BERT의 문맥 기반 토큰 표현 위에 각 작업(UPOS, UFeats, Lemmas, Deps)에 대한 간단한 소프트맥스 분류기 사용.
• 강력한 정규화 적용: 입력 마스킹, 증가된 드롭아웃, 가중치 동결, 특수한 피지테이닝, 레이어 드롭아웃을 통해 과적합 방지.
• 모든 UD annotation 유형 간 다중 작업 학습을 가능하게 하기 위해 전체 모델을 끝에서 끝까지 훈련하는 것.
• 훈련 데이터가 없는 트리뱅크에서의 제로샷 성능 평가를 통해, 볼 수 없었던 언어로의 일반화 능력을 평가하는 것.

실험 결과

연구 질문

• RQ1 단일 다국어 트랜스포머 모델이 75개 언어에서 모든 주요 UD annotation 작업에서 최고 성능을 달성할 수 있는가?
• RQ2 모든 UD 트리뱅크를 함께 훈련하면, 특히 자원이 적은 언어에서 성능 향상이 이루어지는가?
• RQ3 훈련 중에 볼 수 없었던 언어로의 일반화 능력(제로샷 학습)은 어느 정도 이루어지는가?
• RQ4 BERT를 이용한 다국어 사전학습이 의존 구조 파싱을 위한 교차 언어 문법 일반화를 효과적으로 포착할 수 있는가?
• RQ5 BERT 임베딩 위에 표준 분류 헤드 대비 작업별 레이어 주의 메커니즘이 성능 향상에 기여하는가?

주요 결과

• UDify는 75개 언어 전역에서 UPOS, UFeats, 어형 어근, UAS, LAS 등에서 최고 성능 또는 경쟁 가능한 성능을 달성하며, 특히 UAS와 LAS에서 두드러진 성능 향상을 보였다.
• 자원이 적은 언어는 다국어 훈련 덕분에 가장 큰 성능 향상을 보였으며, 단일 언어 기반 베이스라인 대비 뚜렷한 성능 향상을 보였다.
• 모델는 제로샷 언어로의 일반화 능력이 뛰어나, 해당 언어에 대한 어떤 피지테이닝 없이도 고품질의 예측을 생성할 수 있었다.
• 레이어 드롭아웃과 가중치 동결을 포함한 강력한 정규화가, 큰 다국어 데이터셋에서의 피지테이닝 중 과적합을 방지하는 데 핵심적인 역할을 했다.
• 다국어 BERT의 자기주의 메커니즘이 언어 간 일반화 가능한 문법 패턴을 포착하여 효과적인 교차 언어 전이를 가능하게 했다.
• UDify 모델의 다국어 BERT 가중치를 기반으로 단일 언어로의 피지테이닝을 수행하면 성능 향상이 더욱 향상되었으며, 이는 학습된 표현의 이식성(transferability)을 시사한다.