[논문 리뷰] Cross-model Back-translated Distillation for Unsupervised Machine Translation

Xuan-Phi Nguyen, Shafiq Joty외 3명|arXiv (Cornell University)|2020. 06. 03.

Natural Language Processing Techniques참고 문헌 33인용 수 12

한 줄 요약

이 논문은 단일 모델 기반의 백트랜스레이션에 한계가 있음을 고려해, 두 개의 별도된 UMT 모델을 활용해 단방향으로 번역된 단일 언어 데이터를 상호로 다시 번역함으로써 다양한 합성 병렬 데이터를 생성하고, 이를 정규화하여 성능을 향상시키는 새로운 방법인 Cross-model Back-translated Distillation (CBD)을 제안한다. CBD는 WMT’14 영어-프랑스어(38.2 BLEU), WMT’16 영어-독일어(30.1 BLEU), 영어-루마니아어(36.3 BLEU)에서 최고 성능을 기록했으며, IWSLT 벤치마크에서 일관되게 1.5–3.3 BLEU 향상되었으며, 더 높은 데이터 다양성 덕분에 기존 방법들을 능가한다.

ABSTRACT

Recent unsupervised machine translation (UMT) systems usually employ three main principles: initialization, language modeling and iterative back-translation, though they may apply them differently. Crucially, iterative back-translation and denoising auto-encoding for language modeling provide data diversity to train the UMT systems. However, the gains from these diversification processes has seemed to plateau. We introduce a novel component to the standard UMT framework called Cross-model Back-translated Distillation (CBD), that is aimed to induce another level of data diversification that existing principles lack. CBD is applicable to all previous UMT approaches. In our experiments, CBD achieves the state of the art in the WMT'14 English-French, WMT'16 English-German and English-Romanian bilingual unsupervised translation tasks, with 38.2, 30.1, and 36.3 BLEU respectively. It also yields 1.5-3.3 BLEU improvements in IWSLT English-French and English-German tasks. Through extensive experimental analyses, we show that CBD is effective because it embraces data diversity while other similar variants do not.

연구 동기 및 목표

• 기존의 비지도 기계 번역(UMT) 방법들이 노이즈 제거 오토인코더와 반복적 백트랜스레이션을 광범위하게 활용하고 있음에도 불구하고 성능 향상이 정체되고 있는 문제를 해결하기 위해.
• 현재의 UMT 프레임워크를 넘어서 더 높은 수준의 데이터 다양성을 제공하는 새로운 원리인 Cross-model Back-translated Distillation (CBD)을 도입하기 위해.
• 두 개의 독립적으로 훈련된 UMT 에이전트 간의 상호 번역을 통해 생성된 합성 병렬 데이터를 활용하여 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 대규모 사전 훈련이나 병렬 데이터가 필요 없이도 기존의 모든 UMT 방법에 적용 가능하며, 효과적이고 일반화 가능한 성능 향상을 보여주기 위해.
• CBD가 모델 앙상블이나 직접 정규화를 통해 성능을 향상시키는 것이 아니라, 더 다양하고 정보가 풍부한 합성 훈련 데이터를 생성함으로써 성능 향상을 이룬다는 것을 입증하기 위해.

제안 방법

• CBD는 표준 UMT 원칙(초기화, 노이즈 제거 오토인코더, 반복적 백트랜스레이션 포함)을 사용하여 두 개의 별도된 양방향 UMT 에이전트를 훈련시킨다.
• 첫 번째 에이전트는 단일 언어의 원천 언어 데이터를 목표 언어로 번역하여 합성 목표 언어 문장을 생성한다.
• 두 번째 에이전트는 이러한 합성 목표 언어 문장을 다시 원천 언어로 백트랜스레이션하여 두 번째 계층의 합성 병렬 데이터를 생성한다.
• 두 번역 방향에서 유도된 합성 병렬 쌍은 최종적인 지도 기계 번역 모델에 대한 정규화에 사용되며, 이로써 모델의 일반화 능력과 강건성이 향상된다.
• CBD는 기존의 UMT 프레임워크에 외부 모듈로 적용되어 다양한 초기화 및 훈련 전략과 호환된다.
• CBD는 단순한 데이터 증강 방식을 피하기 위해, 잘 훈련된 모델을 기반으로 상호 번역을 통해 고품질의 다양성 있는 합성 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 기존의 노이즈 제거 오토인코더와 반복적 백트랜스레이션의 한계를 넘어서는 새로운 데이터 다양화 메커니즘을 설계할 수 있는가?
• RQ2 두 개의 독립적으로 훈련된 UMT 에이전트 간의 상호 번역이 단일 모델 기반의 백트랜스레이션보다 더 다양하고 효과적인 합성 데이터를 생성하는가?
• RQ3 CBD가 단일 모델 기반 백트랜스레이션 또는 앙상블 기반 데이터 생성과 같은 유사한 변형보다 비지도 환경에서 더 우수한 성능을 내는 이유는 무엇인가?
• RQ4 대규모 사전 훈련이나 병렬 단일 언어 데이터에 의존하지 않고도 CBD가 최고 성능을 달성할 수 있는가?
• RQ5 CBD의 데이터 다양성은 표준 백트랜스레이션과 샘플링 기반 증강 기법에 비해 모델 성능 향상과 내재된 정보 캡처 능력 측면에서 어떻게 비교되는가?

주요 결과

• CBD는 WMT’14 영어-프랑스어 비지도 번역 작업에서 38.2 BLEU로 새로운 최고 성능을 기록하며 이전 방법들을 능가했다.
• CBD는 WMT’16 영어-독일어(30.1 BLEU)와 영어-루마니아어(36.3 BLEU)에서도 새로운 최고 성능을 기록하여 다양한 언어 조합에 걸쳐 광범위한 효과를 입증했다.
• IWSLT’14 영어-독일어 및 IWSLT’13 영어-프랑스어 벤치마크에서 CBD는 성능을 1.5–3.3 BLEU 향상시켜 강력한 일반화 능력을 보였다.
• 광범위한 아블레이션 연구를 통해 CBD의 효과는 모델 앙상블이나 직접 정규화가 아니라, 향상된 데이터 다양성에서 기인한다는 것이 확인되었다.
• CBD는 단일 모델 기반 백트랜스레이션, 샘플링 기반 증강, 앙상블 정규화와 같은 대안 방법들을 능가했으며, 이는 비지도 환경에서의 지도 없음으로 인해 실패하기 때문이다.
• 이 방법은 상호 번역을 통해 생성된 합성 데이터가 단일 모델에서 생성된 데이터보다 더 정보가 풍부하고 다양하다는 것을 입증했으며, 이는 더 나은 모델 일반화로 이어졌다.