[논문 리뷰] Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation

Haipeng Sun, Rui Wang외 4명|arXiv (Cornell University)|2020. 04. 21.

Natural Language Processing Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 13개 언어 간 번역을 위한 단일 인코더와 디코더를 사용하는 통합 다국어 비지도 신경 기계 번역(MUNMT) 프레임워크를 제안한다. 이 프레임워크는 다국어 단일 언어 데이터와 두 가지 새로운 지식 정복 방법—자기 지식 정복과 언어 브랜치 지식 정복—을 활용한다. 이 방법은 모든 언어 쌍에서 최고 성능을 달성하며, 제로샷 번역과 자원이 부족한 언어 쌍에서의 성능을 크게 향상시켜 강력한 개별 비지도 기준선을 초월한다.

ABSTRACT

Unsupervised neural machine translation (UNMT) has recently achieved remarkable results for several language pairs. However, it can only translate between a single language pair and cannot produce translation results for multiple language pairs at the same time. That is, research on multilingual UNMT has been limited. In this paper, we empirically introduce a simple method to translate between thirteen languages using a single encoder and a single decoder, making use of multilingual data to improve UNMT for all language pairs. On the basis of the empirical findings, we propose two knowledge distillation methods to further enhance multilingual UNMT performance. Our experiments on a dataset with English translated to and from twelve other languages (including three language families and six language branches) show remarkable results, surpassing strong unsupervised individual baselines while achieving promising performance between non-English language pairs in zero-shot translation scenarios and alleviating poor performance in low-resource language pairs.

연구 동기 및 목표

• 기존 비지도 NMT 시스템이 동시에 하나의 언어 쌍만 번역할 수 있다는 한계를 해결하기 위해.
• 다양한 언어 계열과 브랜치를 포함한 다국어 번역을 효율적이고 확장 가능한 단일 모델 아키텍처로 가능하게 하기 위해.
• 지식 정복을 통해 제로샷 번역과 자원이 부족한 언어 쌍에서의 성능을 향상시키기 위해.
• 다국어 비지도 번역에서 언어적 구조 인식 정복의 효과성을 탐색하기 위해.
• 통합 프레임워크를 사용해 대규모 다국어 비지도 NMT에 대한 강력한 기준선을 수립하기 위해.

제안 방법

• 13개 언어에서 공통된 인코더와 단일 디코더를 갖춘 통합 MUNMT 프레임워크를 설계하여, 단일 언어 데이터를 사용해 13개 언어 간 공동 학습을 가능하게 한다.
• 다국어 마스크된 언어 모델 미사전학습을 통해 인코더를 공유된 잠재 표현으로 초기화하여 언어 간 공통 표현을 확보한다.
• 손상된 입력 문장을 동일한 언어에서 복원함으로써 복원성과 강건성을 향상시키기 위해 소음 제거 오토인코더를 적용한다.
• 반복적으로 백트랜슬레이션을 사용해 가짜 병렬 데이터를 생성하고, 자기학습을 통해 번역 품질을 향상시킨다.
• 두 가지 지식 정복 방법을 제안한다: 자기 지식 정복은 모델 자체의 예측을 소프트 타겟으로 사용하고, 언어 브랜치 지식 정복은 언어 브랜치 간 언어 유사성을 고려해 정복을 안내한다.
• 정복 목표를 학습 손실에 통합하여 강력한 교사 신호에서 유래한 지식을 활용해 학생 모델의 예측을 정밀하게 보완한다.

실험 결과

연구 질문

• RQ1 단일 인코더, 단일 디코더 아키텍처가 13개의 다양한 유럽어 언어 간 다국어 비지도 번역을 효과적으로 지원할 수 있는가?
• RQ2 지식 정복은 다국어 비지도 NMT 성능을 어떻게 향상시키는가? 특히 제로샷 및 자원이 부족한 번역 시나리오에서 어떻게 작용하는가?
• RQ3 언어 브랜치 간 언어 유사성이 다국어 NMT에서 지식 정복에 얼마나 기여하는가?
• RQ4 제안된 통합 MUNMT 프레임워크는 모든 언어 쌍에서 강력한 개별 비지도 기준선을 초월하는가?
• RQ5 통합 프레임워크를 통해 다국어 단일 언어 데이터를 통합하면 자원이 부족한 언어 쌍에서의 성능 저하를 완화할 수 있는가?

주요 결과

• 제안된 MUNMT 시스템은 13개 언어에서 최고 성능을 달성하며, 모든 언어 쌍에서 강력한 개별 비지도 기준선을 초월한다.
• 비영어 언어에서 영어로의 평균 번역에서 BLEU 점수 21.19를 기록하여 기준선을 크게 뛰어넘었다.
• 제로샷 번역에서 높은 성능을 보였으며, 특히 자원이 부족한 언어 쌍인 라트비아어(Lv-En)와 라트비아어(Lt-En)에서 향후 미세조정 후 BLEU 점수가 1.72에서 16.86으로 상승했다.
• 언어 브랜치 지식 정복은 관련 언어 쌍에서 뚜렷한 성과 향상을 가져왔으며, 루마니아어(Ro-En)와 터키어(Tr-En)에서 각각 1.5 BLEU 향상이 있었다.
• 자기 지식 정복은 일반화 능력을 향상시켰으며, 최종 MUNMT 모델은 평균 21.19 BLEU를 기록하여 기준선 대비 1.72점 향상되었다.
• 비영어 언어에서 영어로의 쌍에 대해 추가적인 미세조정을 수행하면 성능이 21.19 BLEU로 향상되어, 모델의 적응 가능성과 강건성을 입증했다.