[논문 리뷰] Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets

Zhen Yang, Wei Chen외 2명|arXiv (Cornell University)|2017. 03. 15.

Natural Language Processing Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 인간과 유사한 번역을 생성하기 위해 생성기와 판별기를 함께 훈련하는 조건부 시퀀스 생성 적대적 네트워크인 BR-CSGAN을 제안한다. 적대적 훈련과 부드럽게 조정된 문장 수준 BLEU 목적함수를 결합함으로써, 영어-독어 및 중국어-영어 번역 작업에서 최신 기준 성능을 달성하며, RNNSearch 및 Transformer 기준 모델을 모두 능가한다.

ABSTRACT

This paper proposes an approach for applying GANs to NMT. We build a conditional sequence generative adversarial net which comprises of two adversarial sub models, a generator and a discriminator. The generator aims to generate sentences which are hard to be discriminated from human-translated sentences (i.e., the golden target sentences), And the discriminator makes efforts to discriminate the machine-generated sentences from human-translated ones. The two sub models play a mini-max game and achieve the win-win situation when they reach a Nash Equilibrium. Additionally, the static sentence-level BLEU is utilized as the reinforced objective for the generator, which biases the generation towards high BLEU points. During training, both the dynamic discriminator and the static BLEU objective are employed to evaluate the generated sentences and feedback the evaluations to guide the learning of the generator. Experimental results show that the proposed model consistently outperforms the traditional RNNSearch and the newly emerged state-of-the-art Transformer on English-German and Chinese-English translation tasks.

연구 동기 및 목표

• 최대우도추정(MLE)의 한계를 해결하기 위해, 국소적인 단어 수준의 우도를 최적화하지만 문장 수준의 출력이 최적화되지 않을 수 있는 문제를 다루기 위함.
• 적대적 학습을 통해 생성기가 인간 번역과 구분되지 않는 문장을 생성하도록 훈련시켜 번역 품질을 향상시키기 위함.
• 생성기를 더 높은 BLEU 점수로 이끌기 위해 정적이고 작업에 특화된 목적함수인 부드러운 문장 수준 BLEU를 적대적 프레임워크에 통합하기 위함.
• 모드 붕괴 또는 열악한 기울기 신호를 방지하기 위해 판별기의 정확도를 신중하게 초기화함으로써 생성기와 판별기 사이의 균형 잡힌 훈련 역학을 달성하기 위함.
• RNNSearch 및 Transformer를 포함한 다양한 NMT 아키텍처에서 제안된 방법의 효과성을 평가하기 위함.

제안 방법

• 모델은 생성기가 소스 문장을 조건으로 하여 목표 문장을 생성하고, 판별기가 목표 문장이 인간이 작성한 것인지 기계가 생성한 것인지 분류하는 조건부 시퀀스 GAN을 사용한다.
• 생성기와 판별기는 최소-최대 게임 방식으로 훈련되며, 생성기가 현실적인 번역을 생성하고 판별기가 실제 문장과 생성된 문장을 정확히 구분할 수 있는 나시 균형(Nash equilibrium)을 목표로 한다.
• 생성기를 높은 정밀도와 고도의 커버리지 번역으로 이끌기 위해 부드러운 문장 수준 BLEU 점수가 정적 강화 목적함수로 사용된다.
• 훈련 중에는 동적 판별기 피드백과 정적 BLEU 목적함수를 모두 활용하여 보상 계산을 하고, 정책 기반 기울기 방법을 통해 생성기를 업데이트한다.
• 정확도와 계산 비용의 균형을 맞추기 위해 다양한 샘플 크기(N)를 가진 몬테카를로 탐색을 사용하여 보상의 기대값을 근사한다.
• 훈련의 안정성을 확보하기 위해 판별기를 약 0.8의 초기 정확도로 사전 훈련한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 신경망 기반 번역(NMT)에 효과적으로 적용될 수 있는가? 문장 수준의 유창성과 자연스러움을 향상시킬 수 있는가?
• RQ2 적대적 훈련과 문장 수준 BLEU 목적함수를 결합하면, 표준 MLE나 MRT 대비 번역 품질에 어떤 영향을 미치는가?
• RQ3 초기 판별기 정확도가 적대적 훈련 과정의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 보상 근사에서 몬테카를로 샘플 수(N)가 최종 번역 성능과 훈련 안정성에 어떤 영향을 미치는가?
• RQ5 제안된 BR-CSGAN 프레임워크는 RNNSearch 및 Transformer와 같은 다양한 NMT 아키텍처에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• BR-CSGAN 모델은 영어-독어 및 중국어-영어 번역 작업에서 RNNSearch 및 Transformer 기준 모델을 일관되게 능가하며, 일반화 능력이 뛰어나다는 것을 입증한다.
• 중국어-영어 번역 작업에서 N=20 몬테카를로 샘플을 사용한 모델은 NIST02에서 BLEU 점수 38.74를 기록하여 사전 훈련된 생성기(36.87)를 초월하며 안정적인 향상을 보였다.
• 판별기의 초기 정확도가 너무 높음(0.95) 또는 너무 낮음(0.6)한 경우 성능이 심각하게 저하되어 초기 균형이 훈련 안정성에 매우 중요함을 시사한다.
• 몬테카를로 샘플 수 N이 15 이하로 설정된 경우 훈련이 불안정해지고 BLEU 점수가 악화되어, 샘플 수가 부족하면 보상 추정의 분산이 커진다는 것을 시사한다.
• N ≥ 20일 경우 샘플 수를 더 늘려도 성능 향상이 미미하여, 계산 비용과 보상 정확도 사이의 상충 관계가 있음을 나타낸다.
• 기준 RNNSearch 및 Transformer 모델보다 모델이 뛰어난 성능을 보였으며, 적대적 훈련과 부드러운 BLEU 목적함수를 융합함으로써 번역 품질이 향상됨을 입증했다.