[논문 리뷰] Rapid Adaptation of Neural Machine Translation to New Languages

Graham Neubig, Junjie Hu|arXiv (Cornell University)|2018. 08. 13.

Natural Language Processing Techniques참고 문헌 25인용 수 14

한 줄 요약

이 논문은 사전에 훈련된 다국어 '시드 모델'을 대상 저자원 언어(LRL) 데이터에 대해 미세조정하면서, 유사한 문체적 유사 언어를 사용해 '유사 언어 정규화'(SLR)를 적용함으로써 저자원 언어(NMT)에 대한 빠른 적응 방법을 제안한다. 이 방법은 이전의 적응 기법보다 평균 1.7 BLEU 포인트 향상된 성능을 달성하며, 대상 언어 데이터가 전혀 없는 상태에서도 비현저한 제로샷 번역(최대 15.5 BLEU)을 가능하게 한다.

ABSTRACT

This paper examines the problem of adapting neural machine translation systems to new, low-resourced languages (LRLs) as effectively and rapidly as possible. We propose methods based on starting with massively multilingual "seed models", which can be trained ahead-of-time, and then continuing training on data related to the LRL. We contrast a number of strategies, leading to a novel, simple, yet effective method of "similar-language regularization", where we jointly train on both a LRL of interest and a similar high-resourced language to prevent over-fitting to small LRL data. Experiments demonstrate that massively multilingual models, even without any explicit adaptation, are surprisingly effective, achieving BLEU scores of up to 15.5 with no data from the LRL, and that the proposed similar-language regularization method improves over other adaptation methods by 1.7 BLEU points average over 4 LRL settings. Code to reproduce experiments at https://github.com/neubig/rapid-adaptation

연구 동기 및 목표

• 위기 상황에서 저자원 언어(LRL)에 대한 신속하고 정확한 기계 번역의 급박한 필요를 해결하기 위해.
• 새로운 언어 쌍에 대한 훈련 시간을 단축시키면서도 높은 번역 품질을 유지하기 위해.
• 다국어 사전 훈련과 다국어 간 전이를 활용하는 효과적인 적응 전략을 탐색하기 위해.
• 저자원 환경에서 훈련 속도와 번역 정확도 사이의 상충 관계를 평가하기 위해.

제안 방법

• 58개 언어에서 훈련된 사전에 훈련된 다국어 NMT 모델을 대상 저자원 언어 쌍에 대해 미세조정한다.
• 유사 언어 정규화(SLR)를 도입하며, 모델이 대상 LRL과 고자원 유사 언어 양쪽 데이터를 함께 훈련시켜 작은 LRL 데이터에 대한 과적합을 방지한다.
• 적응 전략을 비교한다: 대상 LRL에만 직접 미세조정하는 것, SLR를 적용한 미세조정, 데이터 병합 vs. 균형 샘플링.
• 모든 적응 실험의 기초로 통합된 시드 모델을 사용하여 빠른 구현을 가능하게 한다.
• 개발 세트에서 여러 LRL에 대해 BLEU 점수를 사용해 성능을 평가하며, 제로샷(대상 데이터 없음) 및 희소한 데이터(제한된 대상 데이터) 시나리오를 포함한다.
• 다양한 데이터 밀도로 모델을 훈련하고 수렴 속도를 모니터링하여 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 단일 다국어 모델이 대상 언어의 훈련 데이터가 전혀 없는 새로운 저자원 언어에서 비현저한 번역 성능을 달성할 수 있는가?
• RQ2 새로운 저자원 언어에 대해 통합 다국어 모델을 미세조정하는 것이 완전히 새로운 모델에서 훈련하는 것보다 번역 정확도를 향상시키는가?
• RQ3 대상 언어에 제한된 병렬 데이터만 존재할 경우, 유사 언어 정규화(SLR)가 적응 성능 향상에 얼마나 효과적인가?
• RQ4 새로운 언어에 적응할 때 훈련 속도와 최종 번역 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 사전에 훈련된 다국어 NMT 모델은 대상 언어에 대한 훈련 데이터가 전혀 없는 갈리시아어-영어 언어 쌍에서 최대 15.5 BLEU 점수를 기록하며 강력한 제로샷 일반화 능력을 입증하였다.
• 제안된 유사 언어 정규화(SLR) 방법은 대상 언어에만 직접 미세조정하는 것과 비교해 네 개의 저자원 언어 설정에서 평균 1.7 BLEU 포인트 향상된 성능을 달성하였다.
• 대상 데이터가 전혀 없는 쿨스타트 시나리오에서도 통합 다국어 시드 모델에서 적응하는 것이 단일 소스 또는 이중 소스 모델에서 훈련하는 것보다 더 뛰어난 성능을 보였다.
• 코퍼스 병합은 쿨스타트 및 웜스타트 설정 모두에서 균형 샘플링을 뛰어넘었으며, 이는 유사 언어에서의 데이터 밀도가 적응에 도움이 된다는 것을 시사한다.
• 모든 적응된 모델은 완전히 새로운 이중 소스 모델보다 더 빨리 수렴했으며, 이는 시드 모델에서의 미세조정이 신속한 시스템 구현을 가능하게 한다는 것을 확인한다.
• 비지도 NMT 방법은 테스트된 저자원 언어에서 완전히 실패했으며, 저자원 언어에서 고품질의 단일 언어 데이터가 부족하여 거의 0에 가까운 BLEU 점수를 기록했다.