[논문 리뷰] Adversarial Neural Machine Translation

Lijun Wu, Yingce Xia외 5명|arXiv (Cornell University)|2017. 04. 20.

Natural Language Processing Techniques참고 문헌 34인용 수 72

한 줄 요약

본 논문은 Adversarial-NMT를 소개합니다. CNN 기반 판별기와 정책 기울기(policy gradient)을 활용하여 표준 NMT.training의 품질 격차를 넘어서 번역 품질을 향상시키는 신경 기계 번역용 적대적 학습 프레임워크입니다.

ABSTRACT

In this paper, we study a new learning paradigm for Neural Machine Translation (NMT). Instead of maximizing the likelihood of the human translation as in previous works, we minimize the distinction between human translation and the translation given by an NMT model. To achieve this goal, inspired by the recent success of generative adversarial networks (GANs), we employ an adversarial training architecture and name it as Adversarial-NMT. In Adversarial-NMT, the training of the NMT model is assisted by an adversary, which is an elaborately designed Convolutional Neural Network (CNN). The goal of the adversary is to differentiate the translation result generated by the NMT model from that by human. The goal of the NMT model is to produce high quality translations so as to cheat the adversary. A policy gradient method is leveraged to co-train the NMT model and the adversary. Experimental results on English$ ightarrow$French and German$ ightarrow$English translation tasks show that Adversarial-NMT can achieve significantly better translation quality than several strong baselines.

연구 동기 및 목표

• 인간 번역과 NMT 출력 간의 격차를 최소화하는 학습 패러다임을 동기부여한다.
• 시퀀스-투-시퀀스 번역을 위한 GAN에서 영감을 받은 적대적 학습 설정을 도입한다.
• 인간 대 기계 번역을 구분하는 CNN 기반의 적대자와 제너레이터를 위한 정책-기울기 학습 체계를 설계한다.
• 영어↔프랑스어 및 독일어↔영어 벤치마크에서 번역 품질 향상을 입증한다.
• 비교 가능한 어휘 및 모델 크기에서도 적대적 학습이 강력한 baselines를 능가할 수 있음을 보인다.

제안 방법

• 주의를 가진 인코더-디코더 RNN(RNNSearch)을 NMT 모델 G로 채택한다.
• 연결된 x,y 표현을 입력으로 받아 (x,y)가 인간에 의해 생성되었을 확률을 출력하는 CNN 적대자 D를 사용한다.
• GAN과 유사한 min-max 목적 V(D,G)에서 G와 D를 함께 학습하되, 이산 출력 특성으로 인해 G는 REINFORCE를 통해 최적화한다.
• G(y′|x)에서 샘플링한 번역 y′를 표현하고 판별기의 보상 -log(1−D(x,y′))를 사용해 G를 유도한다.
• 분산 감소를 위한 보상 기준(variance-reducing)으로 정책 기울기 업데이트를 적용하고, 필요 시 분산 감소를 위한 롤아웃을 사용한다.
• 안정성을 위해 D를 학습된 RNNSearch 모델의 샘플로 워밍업하고 Adversarial-NMT 학습을MLE 기반 업데이트와 교대한다.

실험 결과

연구 질문

• RQ1 적대적 학습이 표준likelihood 기반 학습에 비해 MT 품질을 향상시키는가?
• RQ2 CNN 기반 판별기가 x,y 공간에서 인간 대 기계 번역을 효과적으로 구분할 수 있는가?
• RQ3 REINFORCE를 통한 G와 D의 공진화가 En↔Fr 및 De↔En에서 시퀀스 레벨 번역 품질을 더 높이나?
• RQ4 Adversarial-NMT가 BLEU를 최대화하거나 최소 위험 훈련을 사용하는 모델과 어떻게 비교되는가?
• RQ5 적대적으로 학습된 NMT 모델의 안정성 고려사항과 실제 학습 전략은 무엇인가?

주요 결과

• Adversarial-NMT는 En→Fr에서 단일 계층 GRU 모델을 포함한 여러 강력한 baselines보다 더 높은 BLEU를 달성한다.
• UNK 대체를 포함하면 Adversarial-NMT가 BLEU 34.78에 도달하여 다수의 baselines를 능가한다.
• De→En에서 Adversarial-NMT는 BLEU 27.94를 달성하며 RNNSearch 및 MRT baselines를 능가한다.
• 인간 평가에서 Adversarial-NMT 번역이 MRT보다 선호되는 경우가 다수이며(59.4%) 결정적이다.
• 적대적 학습은 더 큰 어휘, 더 깊은 아키텍처, 또는 추가 단일언어 데이터가 있더라도 특정 설정에서 모델을 능가할 수 있다.
• 훈련 가이드는 적대자(D)의 진행 속도에 비해 제너레이터의 진행 속도에 더 민감하며, 적대적 손실과 MLE를 결합하면 안정성이 향상된다.]
• table_headers
• Main results table column headers (empty if no clear table)
• table_rows
• Main results table rows; each row's cells aligned to table_headers
• System
• System Configurations
• BLEU