[논문 리뷰] Evaluating Multiway Multilingual NMT in the Turkic Languages

Jamshidbek Mirzakhalov, A.J.G. Babu외 12명|arXiv (Cornell University)|2021. 09. 13.

Natural Language Processing Techniques참고 문헌 49인용 수 8

한 줄 요약

이 논문은 22개의 투르크어 계열 언어(저자원 언어 포함)를 포함한 대규모 개선된 병렬 코퍼스를 기반으로 훈련된 다중 방향 다국어 신경 기계 번역(MNMT) 모델을 평가한다. MNMT 모델은 도메인 외 테스트 세트에서 双방향 기준 모델보다 우수한 성능을 보이며, 미세조정을 통해 뚜렷한 성능 향상을 보여, 자료가 적은 언어 간에도 강력한 전이 학습 능력을 입증한다.

ABSTRACT

Despite the increasing number of large and comprehensive machine translation (MT) systems, evaluation of these methods in various languages has been restrained by the lack of high-quality parallel corpora as well as engagement with the people that speak these languages. In this study, we present an evaluation of state-of-the-art approaches to training and evaluating MT systems in 22 languages from the Turkic language family, most of which being extremely under-explored. First, we adopt the TIL Corpus with a few key improvements to the training and the evaluation sets. Then, we train 26 bilingual baselines as well as a multi-way neural MT (MNMT) model using the corpus and perform an extensive analysis using automatic metrics as well as human evaluations. We find that the MNMT model outperforms almost all bilingual baselines in the out-of-domain test sets and finetuning the model on a downstream task of a single pair also results in a huge performance boost in both low- and high-resource scenarios. Our attentive analysis of evaluation criteria for MT models in Turkic languages also points to the necessity for further research in this direction. We release the corpus splits, test sets as well as models to the public.

연구 동기 및 목표

• 저자원 투르크어 계열 언어에 대한 고품질 병렬 코퍼스와 기계 번역 시스템의 부족을 해결하기 위함.
• 22개의 투르크어 계열 언어(저자원 언어 및 이전에 탐색되지 않은 언어 포함)에서 다중 방향 다국어 NMT(MNMT) 모델의 성능을 평가하기 위함.
• 투르크어 번역 맥락에서 자동 평가 및 인간 평가 지표의 강점과 약점을 분석하기 위함.
• 특정 언어 쌍에 대한 미세조정을 통한 MNMT 모델의 전이 학습 능력을 조사하기 위함.
• 향후 투르크어 NLP 연구를 지원하기 위해 공개 가능한 개선된 TIL 코퍼스 및 훈련된 모델을 배포하기 위함.

제안 방법

• 22개의 투르크어 계열 언어에 대해 향상된 훈련 및 평가 분할을 적용한 TIL 코퍼스를 도입하고 개선함.
• 코퍼스 내 모든 언어 쌍에 대해 26개의 이원 다국어 신경 기계 번역(NMT) 기준 모델을 훈련함.
• 모든 22개의 투르크어 계열 언어 간 번역이 가능한 단일 다중 방향 다국어 NMT(MNMT) 모델을 구축함.
• 도메인 내 및 도메인 외 테스트 세트에서 자동 평가 지표(예: BLEU)와 인간 평가를 활용해 광범위한 평가를 수행함.
• 특정 언어 쌍에 대한 MNMT 모델의 미세조정을 통해 전이 학습의 이점을 평가함.
• 인간 평가 결과를 바탕으로 주의 집중 오류 분석을 수행하여 투르크어 언어에서 반복되는 번역 오류와 지표의 적합성을 규명함.

실험 결과

연구 질문

• RQ1 다중 방향 다국어 NMT 모델은 다양한 투르크어 계열 언어 간 번역 품질에서 이중 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ2 MNMT 모델을 단일 언어 쌍에 대해 미세조정하면 저자원 및 고자원 언어 쌍 모두에서 성능이 향상되는가?
• RQ3 자동 평가 지표(예: BLEU)는 저자원 환경에서 투르크어 번역 품질 평가에 얼마나 효과적인가?
• RQ4 MNMT 모델의 번역에서 투르크어 어족 전반에 걸쳐 가장 흔한 오류 유형은 무엇인가?
• RQ5 단일 다국어 모델이 저자원 투르크어 언어에 대해 얼마나 강력한 제로샷 번역을 가능하게 하는가?

주요 결과

• MNMT 모델은 도메인 외 테스트 세트에서 거의 모든 이중 기준 모델을 앞서며, 다양한 언어 쌍 간의 강력한 일반화 능력을 보여준다.
• MNMT 모델을 단일 언어 쌍에 대해 미세조정함으로써 저자원 및 고자원 환경 모두에서 뚜렷한 성능 향상을 달성했다.
• 인간 평가 결과에서 어형과 어순의 체계적인 오류가 확인되었으며, 특히 복합어형 투르크어 언어에서 복잡한 파생어 구조 처리의 과제를 드러냈다.
• 저자원 환경에서 자동 평가 지표인 BLEU는 인간 평가와의 상관관계가 제한적이었으며, 더 맞춤형 평가 기준이 필요함을 시사한다.
• MNMT 모델은 특히 카라칼파크어, 카카스어, 투반어처럼 병렬 자료가 극히 적은 언어에 대해 강력한 제로샷 전이 능력을 보였다.
• 개선된 TIL 코퍼스와 배포된 모델은 향후 저자원 및 다국어 NLP 연구를 위한 소중한 기반을 제공한다.