[논문 리뷰] Improving Zero-Shot Translation of Low-Resource Languages

Surafel M. Lakew, Quintino F. Lotito외 3명|arXiv (Cornell University)|2018. 11. 04.

Natural Language Processing Techniques참고 문헌 21인용 수 21

한 줄 요약

이 논문은 다국어 신경 기계 번역(MT) 환경에서 저자원 언어 번역을 향상시키기 위해 모델이 스스로 생성한 번역 결과를 반복적으로 재학습하는 반복적 자기학습 방법을 제안한다. 이는 기준 다국어 모델 대비 9 BLEU 포인트 향상과 피봇 기반 번역을 능가하는 성능을 달성하며, 이중 번역 루프를 통해 점진적으로 정제된 합성 병렬 데이터를 생성함으로써 영향을 미친다. 이 방법은 합성 병렬 데이터를 활용해 영향을 미치는 영향을 받는 방향과 비영향을 받는 방향을 모두 향상시킨다.

ABSTRACT

Recent work on multilingual neural machine translation reported competitive performance with respect to bilingual models and surprisingly good performance even on (zeroshot) translation directions not observed at training time. We investigate here a zero-shot translation in a particularly lowresource multilingual setting. We propose a simple iterative training procedure that leverages a duality of translations directly generated by the system for the zero-shot directions. The translations produced by the system (sub-optimal since they contain mixed language from the shared vocabulary), are then used together with the original parallel data to feed and iteratively re-train the multilingual network. Over time, this allows the system to learn from its own generated and increasingly better output. Our approach shows to be effective in improving the two zero-shot directions of our multilingual model. In particular, we observed gains of about 9 BLEU points over a baseline multilingual model and up to 2.08 BLEU over a pivoting mechanism using two bilingual models. Further analysis shows that there is also a slight improvement in the non-zero-shot language directions.

연구 동기 및 목표

• 일부 언어 쌍에 대해 병행 데이터가 부족하거나 존재하지 않는 다국어 신경 기계 번역(NMT) 환경에서 저자원 언어 번역 문제를 해결하기 위해.
• 추가적인 병행 단일 언어 데이터가 필요 없이, 특히 이탈리아어-루마니아어와 같은 저자원 언어 쌍에 대해 제로샷 번역 성능을 향상시키기 위해.
• 다국어 NMT 모델이 자체 생성한 출력을 합성 학습 데이터로 활용하여 반복적으로 자신의 제로샷 번역 품질을 향상시킬 수 있는지 조사하기 위해.
• 자기 수정 과정이 제로샷 번역 방향 뿐 아니라 비제로샷 번역 방향에도 향상 효과를 미치는지 평가하기 위해.

제안 방법

• 이 방법은 반복적인 학습-추론-재학습 루프를 사용한다: 먼저 다국어 NMT 모델이 훈련 데이터의 일부에서 제로샷 번역을 생성한다.
• 그런 다음 생성된 번역 결과를 원본 병행 데이터와 결합하여 모델을 재학습하며, 각 반복에서 최신 배치의 합성 데이터만 사용한다.
• 모델은 목표 언어를 지정하기 위해 언어 토큰을 앞에 붙이는 목표 강제 기법으로 초기화되어, 추론 시 제로샷 번역이 가능하도록 한다.
• 이 과정을 다수의 라운드에 걸쳐 반복함으로써 모델은 점차 더 정확한 자기 생성 번역 결과에서 학습할 수 있다.
• 이 방법은 번역의 이중성(쌍방향성)을 활용한다: 원천 언어에서 목표 언어로, 그리고 목표 언어에서 원천 언어로의 번역을 생성하여 일관된 합성 병행 데이터를 만든다.
• 훈련 절차는 영어를 피봇으로 사용하는 이탈리아어, 루마니아어, 영어, 독일어, 네덜란드어를 포함하는 다국어 설정에 적용된다.

실험 결과

연구 질문

• RQ1 다국어 NMT 모델이 자체 생성한 번역 결과를 반복적으로 재학습함으로써 제로샷 번역 성능을 크게 향상시킬 수 있는가?
• RQ2 자기 수정 과정이 반복적으로 진행되면서 특히 저자원 환경에서 더 깔끔하고 일관된 번역 결과를 만들어내는가?
• RQ3 제안된 방법이 제로샷 번역 방향 뿐 아니라 비제로샷 번역 방향의 성능 향상에도 어느 정도 기여하는가?
• RQ4 이중 번역 모델을 사용하는 피봇 기반 번역과 비교했을 때, 반복적 자기학습 접근 방식은 BLEU 점수와 번역 품질 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 기준 다국어 NMT 모델 대비 이탈리아어-루마니아어 제로샷 번역 방향에서 9 BLEU 포인트의 유의미한 향상을 달성했다.
• 동일한 제로샷 방향에서 이중 이원 모델을 사용하는 피봇 메커니즘보다 최대 2.08 BLEU 포인트 높은 성능을 기록했다.
• 여러 테스트 세트에서 일관된 성과 향상을 보였으며, IWSLT 2017 테스트 세트에서 각각 +8.9 및 +10.67 BLEU 포인트의 성과를 기록하여 안정성을 확인했다.
• 비제로샷 방향 역시 성능 향상을 보였으며, 네덜란드어→영어 방향에서 오직 -0.10 BLEU 포인트의 경미한 하락만 관찰되어 일반화 능력을 시사했다.
• 정성적 분석을 통해 향상된 모델(Multi-NMT*)이 기존 모델에서 관찰된 혼합 언어 아티팩트를 제거한 일관된 목표 언어 출력을 생성함을 확인했다.
• 재학습의 첫 번째 라운드 이후 성능 향상 폭이 가장 커서, 초기 합성 데이터만으로도 상당한 신호를 제공했고, 이후 라운드에서 더욱 정교한 개선이 이루어졌음을 시사했다.