[논문 리뷰] Multilingual Neural Machine Translation with Language Clustering

Xu Tan, Jiale Chen외 4명|arXiv (Cornell University)|2019. 08. 25.

Natural Language Processing Techniques참고 문헌 30인용 수 11

한 줄 요약

이 논문은 고정된 자원 예산 내에서 다국어 신경 기계 번역(NMT)에서 유사한 언어를 공유 모델에 그룹화함으로써 번역 성능을 햖थ하는 언어 클러스터링 프레임워크를 제안한다. 언어 가문(사전 지식) 기반 클러스터링과 엔드 투 엔드로 학습된 언어 임베딩 기반 클러스터링을 비교하여, 임베딩 기반 클러스터링이 언어적 관계를 더 잘 포착하고 23개 언어에서 BLEU 점수를 향상시켜 가문 기반 클러스터링을 능가함을 보여준다.

ABSTRACT

Multilingual neural machine translation (NMT), which translates multiple languages using a single model, is of great practical importance due to its advantages in simplifying the training process, reducing online maintenance costs, and enhancing low-resource and zero-shot translation. Given there are thousands of languages in the world and some of them are very different, it is extremely burdensome to handle them all in a single model or use a separate model for each language pair. Therefore, given a fixed resource budget, e.g., the number of models, how to determine which languages should be supported by one model is critical to multilingual NMT, which, unfortunately, has been ignored by previous work. In this work, we develop a framework that clusters languages into different groups and trains one multilingual model for each cluster. We study two methods for language clustering: (1) using prior knowledge, where we cluster languages according to language family, and (2) using language embedding, in which we represent each language by an embedding vector and cluster them in the embedding space. In particular, we obtain the embedding vectors of all the languages by training a universal neural machine translation model. Our experiments on 23 languages show that the first clustering method is simple and easy to understand but leading to suboptimal translation accuracy, while the second method sufficiently captures the relationship among languages well and improves the translation accuracy for almost all the languages over baseline methods

연구 동기 및 목표

• 고정된 자원 예산 내에서 다국어 NMT에서 최적의 언어 그룹화를 선택하는 데 도전하는 것.
• 언어 가문(사전 지식) 기반 클러스터링과 학습된 언어 임베딩 기반 클러스터링 중 어느 것이 더 높은 번역 성능을 낼 수 있는지 조사하는 것.
• 언어적으로 유사한 언어를 공유 모델에 그룹화하여 저자원 및 제로샷 번역을 향상시키는 것.
• 다국어 번역 작업에 부합하는 확장 가능한 엔드 투 엔드 방법을 개발하는 것.

제안 방법

• 각 언어에 대해 언어별 태그를 사용하여 유니버설 NMT 모델을 훈련시켜 엔드 투 엔드로 언어 임베딩 벡터를 학습하는 것.
• 학습된 언어 임베딩를 사용하여 클러스터링 알고리즘(예: k-means)을 통해 임베딩 공간에서 언어를 클러스터링하는 것.
• 두 가지 클러스터링 전략을 비교하는 것: (1) 언어 가문(예: 인도·유럽어족 지부)을 활용한 사전 지식 기반, (2) 학습된 임베딩를 사용한 비지도 클러스터링.
• 각 클러스터에 대해 별도의 다국어 NMT 모델을 훈련시고, 각 모델이 자신의 언어 그룹 내 번역을 처리하도록 하는 것.
• IWSLT 2011–2018 데이터셋을 사용하여 23개 언어에서 다수의 번역(원본→영어) 및 일대다 번역(영어→목표 언어) 설정 모두에서 BLEU 점수로 성능을 평가하는 것.
• 임베딩 기반 접근법에서 최적의 클러스터 수를 결정하기 위해 엉클 기법을 적용하였으며, 일대다 설정에서 5개 클러스터가 최적임을 발견함.

실험 결과

연구 질문

• RQ1 학습된 임베딩 기반 언어 클러스터링이 다국어 NMT에서 언어 가문 지식 기반 클러스터링을 능가하는가?
• RQ2 언어 임베딩는 언어 지부 및 지역적 영향과 같은 세밀한 언어적 관계를 효과적으로 포착할 수 있는가?
• RQ3 유사한 언어를 함께 클러스터링하면 번역 성능에 어떤 영향을 미치며, 특히 저자원 언어에서 어떻게 영향을 미치는가?
• RQ4 다국어 NMT에서 언어 그룹화에 최적의 클러스터 수는 얼마이며, 어떻게 결정되는가?
• RQ5 제안된 방법은 수백 또는 수천 개의 언어를 포함하는 더 큰 다국어 환경에서도 확장 가능한가?

주요 결과

• 유니버설 NMT 모델을 통해 학습된 언어 임베딩는 언어 가문 내의 언어 지부와 같은 세밀한 관계까지 언어 유사성을 효과적으로 포착한다.
• 학습된 임베딩를 사용해 그룹화한 언어는 언어 가문 기반 그룹화보다 더 높은 BLEU 점수를 기록하여 더 우수한 클러스터링 품질을 입증한다.
• 임베딩 기반 클러스터링 방법은 언어 가문 기반 기준선과 개별 모델보다도 몇몇 저자원 언어에서 성능이 뛰어나 데이터 효율성 향상을 보여준다.
• 클러스터링 결과는 중국어와 일본어, 태국어와 베트남어처럼 역사적·지역적 영향을 반영하며, 임베딩가 가문 외의 언어적 관계도 포착함을 보여준다.
• 일대다 설정에서 엉클 기법을 통해 최적의 클러스터 수로 5개를 도출하였으며, 이는 안정적이고 데이터 기반의 클러스터링 구성임을 시사한다.
• 개별 모델은 약 10개 언어에서 높은 용량 덕분에 최고의 BLEU 점수를 기록했지만, 학습 데이터가 적은 언어에서는 임베딩 기반 클러스터링 방법이 개별 모델을 크게 능가함을 확인했다.