[논문 리뷰] Adapting Multilingual Neural Machine Translation to Unseen Languages

Surafel M. Lakew, Alina Karakanta외 3명|arXiv (Cornell University)|2019. 10. 30.

Natural Language Processing Techniques참고 문헌 35인용 수 7

한 줄 요약

이 논문은 저자원 언어(LRL)에 대해 별도의 LRL 병렬 데이터가 필요 없이 다국어 신경 기계 번역(MNMT)을 향상시키기 위해 퍼플렉서티 기반 데이터 선택 방법과 동적 어휘 적응을 제안한다. 언어 모델 퍼플렉서티를 사용해 목표 LRL와 가장 유사한 고자원 언어(HRL) 데이터를 선별하고, 모델의 어휘를 동적으로 확장함으로써, 제로샷 및 피지컬 튜닝 설정에서 최대 +17.0 BLEU 향상을 달성하며, 데이터 증강 및 정적 적응과 같은 이전 방법들을 능가한다.

ABSTRACT

Multilingual Neural Machine Translation (MNMT) for low-resource languages (LRL) can be enhanced by the presence of related high-resource languages (HRL), but the relatedness of HRL usually relies on predefined linguistic assumptions about language similarity. Recently, adapting MNMT to a LRL has shown to greatly improve performance. In this work, we explore the problem of adapting an MNMT model to an unseen LRL using data selection and model adaptation. In order to improve NMT for LRL, we employ perplexity to select HRL data that are most similar to the LRL on the basis of language distance. We extensively explore data selection in popular multilingual NMT settings, namely in (zero-shot) translation, and in adaptation from a multilingual pre-trained model, for both directions (LRL-en). We further show that dynamic adaptation of the model's vocabulary results in a more favourable segmentation for the LRL in comparison with direct adaptation. Experiments show reductions in training time and significant performance gains over LRL baselines, even with zero LRL data (+13.0 BLEU), up to +17.0 BLEU for pre-trained multilingual model dynamic adaptation with related data selection. Our method outperforms current approaches, such as massively multilingual models and data augmentation, on four LRL.

연구 동기 및 목표

• 병렬 학습 데이터가 전혀 없는 저자원 언어(LRL)에 대해 다국어 신경 기계 번역(MNMT)을 향상시키는 것.
• 언어 유사성에 대한 사전 정의된 언어학적 가정에 의존하는 것을 줄이기 위해, 퍼플렉서티를 데이터 선택 기준으로 사용하는 것.
• 형태소가 풍부한 LRL의 더 나은 분할을 위해 모델 어휘의 동적 적응을 통해 번역 성능을 향상시키는 것.
• 제로샷 번역(모든 LRL 데이터 없음)과 적응 시나리오(선택된 HRL 데이터 있음)에서 방법의 효과를 평가하는 것.
• 저자원 번역 작업에서 데이터 증강 및 정적 적응과 같은 기존 방법들을 능가하는 것.

제안 방법

• 목표 LRL에 대해 훈련된 언어 모델을 사용하여 가용한 고자원 언어(HRL) 단일 언어 데이터에 대해 퍼플렉서티 점수를 계산하여 가장 유사한 HRL을 식별한다.
• 가장 낮은 퍼플렉서티를 보인 HRL 데이터를 비알려진 LRL에 대한 가장 관련성이 높은 데이터로 선별한다.
• 선택된 HRL 데이터를 사용해 사전 훈련된 다국어 NMT 모델을 적응시키며, 두 전략인 직접 적응(DirAdapt)과 동적 어휘 확장(DynAdapt)을 비교한다.
• 형태소가 풍부한 LRL에 더 적합하도록 서어분할 크기를 조정하여 모델의 서어분할을 동적으로 조정한다.
• 영어 ↔ LRL 양방향으로 모델을 훈련하고 평가하며, 훈련 중에 LRL 데이터가 전혀 없는 제로샷 번역도 포함한다.
• Transformer 아키텍처를 사용하고, 58개 언어를 포함한 TED Talks 데이터셋에서 평가하며, 아제르바이잔어, 벨라루스어, 갈리시아어, 슬로바크어 등 네 개의 LRL에 집중한다.

실험 결과

연구 질문

• RQ1 퍼플렉서티 기반 데이터 선택이 히우리스틱 또는 무작위 선택보다 다국어 NMT를 비알려진 저자원 언어에 적응시키는 데 더 나은 성능을 내는가?
• RQ2 동적 어휘 적응이 정적 적응보다 저자원 언어의 번역 품질을 향상시키는가?
• RQ3 선택된 병렬 데이터가 훈련 중에 전혀 없을 때, 제로샷 번역에서 제안된 방법의 효과는 어떠한가?
• RQ4 퍼플렉서티 기반 데이터 선택과 동적 적응의 조합이 기존의 데이터 증강 및 적응 기법보다 유의미한 BLEU 향상을 이끌어내는가?
• RQ5 형태소가 풍부한 저자원 언어에 특히 적합한 다양한 언어 계열과 형태학적 유형에 대해 이 방법이 강건한가?

주요 결과

• 퍼플렉서티 기반 데이터 선택은 사전 훈련된 다국어 모델에서 기준 모델 대비 최대 +17.0 BLEU 향상을 달성했으며, 특히 도메인 전환에서 어려운 en→LRL 방향에서 두드러졌다.
• 제로샷 번역(모든 LRL 데이터 없음)에서 +13.0 BLEU를 달성하여, 훈련 중에 피지컬 튜닝 없이도 강력한 교차 언어 전이 능력을 입증했다.
• 동적 어휘 적응(DynAdapt)은 형태소가 풍부한 언어에서 직접 적응(DirAdapt)을 능가했으며, 더 유리한 서어분할을 가능하게 했다.
• 훈련 시간을 단축시키면서 성능을 향상시켜 정확도 향상과 함께 효율성 향상도 동시에 달성했다.
• 테스트한 네 개의 저자원 언어 전반에서 데이터 증강 및 다국어 모델을 포함한 최신 기술들을 모두 능가했다.
• 성능 향상이 가장 두드러진 분야는 제한된 타겟 측 데이터와 높은 형태학적 복잡도로 인해 성능이 저하되기 쉬운 en→LRL 방향이었다.