[논문 리뷰] Facebook AI WMT21 News Translation Task Submission

Chau Tran, Shruti Bhosale외 4명|arXiv (Cornell University)|2021. 08. 06.

Natural Language Processing Techniques인용 수 9

한 줄 요약

Facebook AI는 14개의 언어 방향을 위한 다국어 신경 기계 번역 시스템을 제안하며, 대규모 역번역, 다국어 데이터 마이닝, 조밀하고 희소한 전문가 집합(Mixture-of-Experts, MoE) 아키텍처, 도메인 내 미세조정, 노이즈 채널 재정렬 기법을 활용한다. 이 시스템은 WMT2020 우승자 대비 평균 +2.0 BLEU 향상도를 달성했으며, 10개 언어 방향에서 1위를 기록하여 다국어 모델이 고자원 및 저자원 환경 모두에서 双어 기반 모델을 능가할 수 있음을 입증한다.

ABSTRACT

We describe Facebook's multilingual model submission to the WMT2021 shared task on news translation. We participate in 14 language directions: English to and from Czech, German, Hausa, Icelandic, Japanese, Russian, and Chinese. To develop systems covering all these directions, we focus on multilingual models. We utilize data from all available sources --- WMT, large-scale data mining, and in-domain backtranslation --- to create high quality bilingual and multilingual baselines. Subsequently, we investigate strategies for scaling multilingual model size, such that one system has sufficient capacity for high quality representations of all eight languages. Our final submission is an ensemble of dense and sparse Mixture-of-Expert multilingual translation models, followed by finetuning on in-domain news data and noisy channel reranking. Compared to previous year's winning submissions, our multilingual system improved the translation quality on all language directions, with an average improvement of 2.0 BLEU. In the WMT2021 task, our system ranks first in 10 directions based on automatic evaluation.

연구 동기 및 목표

• 다양한 언어 쌍에서 다국어 번역 모델이 이중 기반 모델을 초월하는 번역 품질을 달성할 수 있음을 입증하는 것.
• 데이터 스케일링, 모델 아키텍처, 학습 기법이 다국어 번역 성능에 미치는 영향을 조사하는 것.
• 역번역, 도메인 내 미세조정, 앙상블의 효과가 다국어 환경에서 어떻게 작용하는지 평가하는 것.
• 고자원 및 저자원 언어 모두에서 최고 성능을 내는 통합 다국어 시스템을 개발하는 것.
• 데이터 마이닝, MoE 스케일링, 재정렬 기법 등의 누적 효과가 최종 번역 품질에 미치는 영향을 정량화하는 것.

제안 방법

• WMT, ccMatrix, ccAligned, OPUS 및 마이닝된 비트렉스트 데이터를 조합하여 14개 언어 방향에서 다국어 모델을 훈련하는 것.
• Commoncrawl에서 확보한 단일 언어 데이터를 활용한 대규모 역번역 수행. 뉴스 도메인 데이터와의 n-gram 언어 모델 유사도 기반으로 필터링 적용.
• 다국어 서브워드 토크나이저를 사용하고, 최대 128개의 전문가와 24/24 모델 헤드를 갖춘 조밀하고 희소한 전문가 집합(MoE) 모델을 훈련하는 것.
• 역번역에서 발생하는 번역 스타일(translationese)에 의한 과적합을 완화하기 위해 뉴스 도메인 데이터를 활용한 도메인 내 미세조정 수행.
• 출력의 유창성과 BLEU 점수 향상을 위해 노이즈 채널 재정렬 기법 적용.
• 특히 중국어 및 기타 스크립트 언어에서 중요한 역할을 하는 문장 부호 표준화를 위한 언어별 후처리 수행.

실험 결과

연구 질문

• RQ1 단일 다국어 모델이 다양한 언어 쌍에서 이중 기반 모델보다 더 높은 번역 품질을 달성할 수 있는가?
• RQ2 역번역이 다국어 모델에 미치는 영향은 무엇인가? 특히 역번역이 번역 스타일을 유도할 수 있는 고자원 환경에서의 영향은?
• RQ3 도메인 내 미세조정이 역번역으로 인한 분포 이탈 문제를 어느 정도 완화하는가?
• RQ4 모델 스케일링, MoE 아키텍처, 앙상블이 다국어 번역 성능에 기여하는 정도는?
• RQ5 데이터 마이닝, 단일 언어 필터링, 후처리가 종합적으로 최종 BLEU 점수에 어떤 영향을 미치는가?

주요 결과

• 다국어 시스템은 14개 언어 방향 전반에서 WMT2020 최우수 성과 모델 대비 평균 +2.0 BLEU 향상도를 달성했다.
• 자동 평가 기준으로 14개 언어 방향 중 10개에서 1위를 기록했으며, 하우사어 및 아이сл란드어와 같은 저자원 쌍에서 가장 큰 향상도를 보였다.
• 도메인 내 미세조정은 번역 스타일의 악영향을 줄여주었으며, 특히 zh-en 및 cs-en와 같은 고자원 방향에서 BLEU 점수를 최대 +0.4 향상시켰다.
• 표준화된 문장 부호를 위한 후처리로 중국어에서 BLEU 점수가 거의 +5 향상되어, 이 기법의 중요성이 뚜렷하게 드러났다.
• MoE-128 24/24 아키텍처가 가장 뛰어난 성능을 보였으며, 이는 다국어 모델이 이중 모델보다 스케일링에 더 큰 이점을 얻을 수 있음을 시사한다.
• 앙상블 및 재정렬은 점진적인 성능 향상을 가져왔으며, 재정렬은 평균 BLEU 점수를 0.3~0.5 향상시켰고, 특히 저자원 환경에서 두드러진 효과를 보였다.