[논문 리뷰] Joint Training for Neural Machine Translation Models with Monolingual Data

Zhirui Zhang, Shujie Liu외 3명|arXiv (Cornell University)|2018. 03. 01.

Natural Language Processing Techniques참고 문헌 21인용 수 31

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 공동 학습 프레임워크를 제안하며, 반복적으로 개선되는 이방향 NMT 모델—원천에서 목표로, 목표에서 원천으로—를 통해 원천 및 목표 언어의 단일 언어 데이터를 활용한다. 이는 준감독 학습 기반의 EM 유사 최적화 방식을 사용한다. 이 방법은 각 모델의 번역 확률을 가중치로 사용하여 노이즈가 많은 가짜 평행 데이터를 걸러내며, 중국어-영어 및 영어-독일어 번역 작업에서 백트랜스레이션과 같은 강력한 베이스라인을 뛰어넘는 성능 향상을 이룬다.

ABSTRACT

Monolingual data have been demonstrated to be helpful in improving translation quality of both statistical machine translation (SMT) systems and neural machine translation (NMT) systems, especially in resource-poor or domain adaptation tasks where parallel data are not rich enough. In this paper, we propose a novel approach to better leveraging monolingual data for neural machine translation by jointly learning source-to-target and target-to-source NMT models for a language pair with a joint EM optimization method. The training process starts with two initial NMT models pre-trained on parallel data for each direction, and these two models are iteratively updated by incrementally decreasing translation losses on training data. In each iteration step, both NMT models are first used to translate monolingual data from one language to the other, forming pseudo-training data of the other NMT model. Then two new NMT models are learnt from parallel data together with the pseudo training data. Both NMT models are expected to be improved and better pseudo-training data can be generated in next step. Experiment results on Chinese-English and English-German translation tasks show that our approach can simultaneously improve translation quality of source-to-target and target-to-source models, significantly outperforming strong baseline systems which are enhanced with monolingual data for model training including back-translation.

연구 동기 및 목표

• 병렬 데이터가 부족한 저자원 또는 도메인 특화 NMT 환경에서 성능 저하 문제를 해결하기 위해.
• 기존의 백트랜스레이션과 같은 방법을 뛰어넘어 원천 및 목표 언어의 단일 언어 데이터를 더 효과적으로 활용하기 위해.
• 동시에 원천에서 목표로 및 목표에서 원천으로의 NMT 모델을 향상시키는 공동 최적화 프레임워크를 개발하기 위해.
• 데이터 증강 과정에서 생성된 저품질의 가짜 평행 문장이 미치는 부정적 영향을 줄이기 위해.
• 준감독 학습 과정을 통해 상호 피드백을 통해 NMT 모델을 반복적으로 개선할 수 있도록 하기 위해.

제안 방법

• 방법은 각 방향(원천→목표, 목표→원천)에 대해 병렬 데이터로 미리 학습된 두 개의 NMT 모델로 시작한다.
• 각 반복 단계에서, 모델 B는 목표 언어 쪽의 단일 언어 문장을 원천 언어로 번역하여 모델 A를 위한 가짜 평행 데이터를 생성하고, 모델 A는 원천 언어 쪐한의 단일 언어 문장을 목표 언어로 번역하여 모델 B를 위한 가짜 데이터를 생성한다.
• 생성된 가짜 문장 쌍은 생성 모델의 번역 확률을 가중치로 사용하여 낮은 신뢰도의 노이즈가 많은 번역을 억제한다.
• 각 반복 단계에서 원래의 병렬 데이터와 가중치가 부여된 가짜 데이터를 함께 사용하여 두 모델을 공동으로 재학습하며, 동시에 두 모델을 향상시킨다.
• 이 과정은 공동 EM 유사 최적화를 따르며, E단계는 단일 언어 데이터에 대한 번역 기대치를 추정하고, M단계는 부드러운 확률로 모델 파라미터를 업데이트한다.
• 수렴할 때까지 반복 루프를 계속하며, 각 단계에서 향상된 모델과 향상된 품질의 가짜 데이터를 후속 반복에서 제공할 것으로 기대된다.

실험 결과

연구 질문

• RQ1 양방향 NMT 모델을 단일 언어 데이터의 양방향 활용을 통해 공동 학습시킬 경우, 단방향 방법보다 더 나은 번역 성능을 달성할 수 있는가?
• RQ2 양방향 모델 간의 피드백을 활용한 반복적 개선이 노이즈가 많은 가짜 평행 데이터의 부정적 영향을 줄일 수 있는가?
• RQ3 번역 확률을 가중치 메커니즘으로 사용할 경우, NMT에서 합성 학습 데이터의 품질을 향상시킬 수 있는가?
• RQ4 공동 EM 기반 최적화는 BLEU 점수 향상 측면에서 기존의 백트랜스레이션과 비교해 어떻게 성능을 내는가?
• RQ5 이 방법은 저자원 및 고자원 번역 작업 모두에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 중국어-영어 및 영어-독일어 번역 작업 모두에서 강력한 베이스라인, 특히 백트랜스레이션을 뛰어넘는 성능 향상을 보였다.
• 중국어-영어 작업에서, 방법은 C→E에서 BLEU 점수 38.23, E→C에서 19.10을 기록했으며, RNNSearch+M 베이스라인보다 각각 0.40 및 0.23 BLEU 포인트 향상되었다.
• 영어-독일어 작업에서, 방법은 D→E에서 27.07 BLEU, E→D에서 22.20 BLEU를 기록했으며, RNNSearch+M 베이스라인을 각각 0.26 및 0.31 BLEU 포인트 뛰어넘었다.
• 반복 과정은 일관된 향상을 이끌었으며, 중국어 문장의 경우 반복 0에서 오류가 있는 번역 출력이 반복 4에서 기준 번역 수준에 가까운 출력으로 향상되었다.
• 모델의 확률을 가중치로 사용함으로써 낮은 신뢰도의 번역이 효과적으로 억제되어 합성 데이터의 노이즈가 감소하고 전체 학습 안정성이 향상되었다.
• 공동 EM 최적화 프레임워크는 두 모델 간의 상호 향상과 피드백 루프를 만들어내어 양방향 번역 성능을 동시에 향상시켰다.