[논문 리뷰] Tencent's Multilingual Machine Translation System for WMT22 Large-Scale African Languages

Wenxiang Jiao, Zhaopeng Tu외 4명|arXiv (Cornell University)|2022. 10. 18.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 WMT22에서 대규모 아프리카어를 대상으로 한 공통 과제에 대해 데이터 부족, 데이터 불균형, 다국어화의 고통 문제를 해결하기 위해 데이터 증강, 분포로 보존 최적화(DRO), 언어 가문 그룹화 기법을 활용한騰訊의 다국어 신경 기계 번역(NMT) 시스템을 제시한다. 이 시스템은 블라인드 테스트 세트에서 BLEU 점수 17.95로 1등을 차지하여 기준 모델을 크게 앞서 갔다.

ABSTRACT

This paper describes Tencent's multilingual machine translation systems for the WMT22 shared task on Large-Scale Machine Translation Evaluation for African Languages. We participated in the $\mathbf{constrained}$ translation track in which only the data and pretrained models provided by the organizer are allowed. The task is challenging due to three problems, including the absence of training data for some to-be-evaluated language pairs, the uneven optimization of language pairs caused by data imbalance, and the curse of multilinguality. To address these problems, we adopt data augmentation, distributionally robust optimization, and language family grouping, respectively, to develop our multilingual neural machine translation (MNMT) models. Our submissions won the $\mathbf{1st\ place}$ on the blind test sets in terms of the automatic evaluation metrics. Codes, models, and detailed competition results are available at https://github.com/wxjiao/WMT2022-Large-Scale-African.

연구 동기 및 목표

• WMT22의 대규모 다국어 번역 과제에서 일부 아프리카어 쌍에 대해 병렬 학습 데이터가 부족한 문제를 해결하기 위해.
• 다양한 아프리카어 쌍 간의 데이터 불균형으로 인한 성능 저하를 완화하기 위해.
• 수백 개의 언어 쌍을 처리하는 다국어 신경 기계 번역(MNMT) 모델에서 발생하는 다국어화의 고통 문제를 완화하기 위해.
• 공식 데이터와 사전 학습 모델만을 사용하여 제약 조건 하에 강건하고 확장 가능한 MNMT 시스템을 개발하기 위해.

제안 방법

• 병렬 단일어 또는 비트렉스트 데이터가 없는 저자원 언어 쌍을 위해 특수 태그를 사용한 역번역 및 자기학습 기법을 적용하여 합성 병렬 데이터를 생성하였다.
• 전체 번역 방향 간의 모델 최적화 균형을 맞추기 위해 분포로 보존 최적화(DRO)를 적용하였으며, 특히 영어 및 프랑스어와 같은 주요 언어에서 성능 향상을 이끌어냈다.
• 언어 가문 군집화(LFG)를 통해 언어를 가문(예: 반투어족, 나일-사하라어족 등)으로 군집화하고, 각 가문 별 별도의 모델을 훈련시어 비유사 언어 쌍 간의 간섭을 줄였다.
• 두 단계 훈련 파이프라인을 사용하였다. 첫 번째 단계는 대규모 데이터(Large-234)로 사전 훈련하고, 두 번째 단계는 더 깔끔한 소규모 데이터 세트(Base-146 및 Eval-106)로 미세조정하여 합성 데이터에서 오류 전파를 방지하였다.
• 인코더에 대상 언어 태그를 통합하여 제로샷 전이 성능을 향상시켰지만, 다중 중심 언어 환경에서는 유의미한 성능 향상이 발생하지 않았다.
• 각 구성 요소의 효과를 평가하기 위해 추론 실험을 수행하였으며, 이는 연속 훈련, 미세조정, 모델 확장 기법을 포함한다.

실험 결과

연구 질문

• RQ1 데이터 증강 기법이 병렬 데이터가 전혀 없는 저자원 아프리카어 쌍의 번역 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 분포로 보존 최적화(DRO)는 다국어 환경에서 고자원 및 저자원 언어 쌍 간의 성능 균형을 어느 정도 개선할 수 있는가?
• RQ3 수백 개의 언어 쌍을 처리하는 다국어 NMT 모델에서 언어 가문 그룹화가 간섭을 줄이고 번역 품질을 향상시키는 데 얼마나 효과적인가?
• RQ4 모델 용량을 증가시키거나 대상 언어 태그를 적용하면 다중 중심 언어 환경의 MNMT 설정에서 성능 향상이 이루어지는가?

주요 결과

• 제안된 시스템은 블라인드 테스트 세트에서 BLEU 점수 17.95를 기록하여 기준 모델(15.50 BLEU)을 2.45 점 이상 앞섰다.
• 역번역 및 자기학습을 통한 데이터 증강은 모델 사전 훈련에 사용할 경우 성능 향상을 이끌었지만, 합성 데이터로 직접 훈련할 경우 오류 전파로 인해 성능 저하가 발생했다.
• 분포로 보존 최적화(DRO)는 모든 언어 쌍에서 성능 향상을 크게 이끌었으며, 특히 영어 및 프랑스어와 같은 주요 언어에서 유의미한 성능 향상을 보였다.
• 언어 가문 그룹화(LFG)는 일대다 번역 방향에서 가장 큰 성과를 기록하였으며, 다국어화의 고통 문제 완화에 효과적임을 입증하였다.
• 더 깔끔한 소규모 데이터 세트(Eval-106)로의 미세조정은 더 노이즈가 많은 대규모 데이터 세트(Large-234)로의 직접 미세조정보다 성능이 뛰어났으며, 이는 다국어 훈련에서 데이터 품질이 양보다 우선시됨을 시사한다.
• 언어 가문 그룹화와 DRO를 적용한 모델이 가장 높은 성능(17.95 BLEU)을 기록하여 공식 WMT22 제약 조건 번역 트랙에서 1등을 차지하였다.