[논문 리뷰] Variational Recurrent Neural Machine Translation

Jinsong Su, Shan Wu외 4명|arXiv (Cornell University)|2018. 01. 16.

Natural Language Processing Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 번역 중 목표 단어 간 복잡한 의존 관계를 포착하기 위해 순환 잠재 변수의 시퀀스를 도입하는 새로운 NMT 모델인 변분 순환 신경 기계 번역(VRNMT)을 제안한다. 이 변수들을 디코더의 은닉 상태에 통합하고 재구성된 변분 추론 프레임워크를 사용함으로써, VRNMT는 중국어-영어 및 영어-독일어 번역 작업에서 전통적인 NMT와 변분 NMT보다 유의미한 BLEU 점수 향상을 달성한다.

ABSTRACT

Partially inspired by successful applications of variational recurrent neural networks, we propose a novel variational recurrent neural machine translation (VRNMT) model in this paper. Different from the variational NMT, VRNMT introduces a series of latent random variables to model the translation procedure of a sentence in a generative way, instead of a single latent variable. Specifically, the latent random variables are included into the hidden states of the NMT decoder with elements from the variational autoencoder. In this way, these variables are recurrently generated, which enables them to further capture strong and complex dependencies among the output translations at different timesteps. In order to deal with the challenges in performing efficient posterior inference and large-scale training during the incorporation of latent variables, we build a neural posterior approximator, and equip it with a reparameterization technique to estimate the variational lower bound. Experiments on Chinese-English and English-German translation tasks demonstrate that the proposed model achieves significant improvements over both the conventional and variational NMT models.

연구 동기 및 목표

• 번역 중 인접한 목표 단어 간 강한 복잡한 의존성을 모델링하는 데에 전통적인 NMT와 변분 NMT의 한계를 해결하기 위해.
• 신경 기계 번역에서 계층적이고 순차적인 의미적 구조를 포착하는 데에 순환 잠재 변수의 잠재력을 탐색하기 위해.
• 변분 추론과 순환 모델링의 장점을 결합한 엔드 투 엔드 학습이 가능한 NMT 프레임워크를 개발하기 위해.
• 잠재 변수를 시퀀스 투 시퀀스 모델에 통합할 때 발생하는 후행 추론의 비가역성과 대규모 학습의 과제를 극복하기 위해.

제안 방법

• 디코더의 은닉 상태에 통합되어 맥락 의존성을 모델링하기 위해 순환적으로 생성되는 연속적인 잠재 랜덤 변수 {z₁, z₂, ..., z_Ty}의 시퀀스를 도입한다.
• 조건부 번역 확률 p(y|x)를 시간 단위로 분해하고, 각 단계에서 잠재 변수 z_j를 통합하여 동적 의미적 맥락을 포착한다.
• 관측된 소스 및 목표 시퀀스를 사용하여 잠재 변수에 대한 후행 분포를 추정하기 위해 신경망 기반 후행 근사기 qφ(z_j|x, y≤j)를 활용한다.
• 재구성 기법을 사용하여 잠재 변수를 통해 미분 가능하고 확률적인 역전파를 가능하게 하여, 확률적 경사 하강법을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 최적화를 위해 변분 하한(ELBO)을 활용하며, 사전 분포 pθ(z_j|x, y<j)와 후행 분포 qφ(z_j|x, y≤j) 모두를 깊은 신경망으로 모델링한다.
• 변분 순환 신경망(VRNN) 프레임워크를 시퀀스 투 시퀀스 번역에 적응시켜, 변분 오토인코더의 개념을 NMT에 확장한다.

실험 결과

연구 질문

• RQ1 인접한 목표 단어 간 복잡한 의존성을 모델링하는 데에 순환 잠재 변수의 시퀀스가 효과적인가?
• RQ2 재구성 기법을 활용한 변분 추론은 NMT의 잠재 변수를 가진 시퀀스 투 시퀀스 모델에 효과적으로 적용될 수 있는가?
• RQ3 잠재 공간에 순환 구조를 통합하면 단일 전역 잠재 변수보다 성능 향상이 이루어지는가?
• RQ4 제안된 모델은 엔드 투 엔드 미분 가능성과 대규모 학습의 확장성을 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• VRNMT는 중국어-영어 번역 작업에서 BLEU 점수 30.1을 기록하여 기존 NMT 모델보다 5.39 BLEU 포인트 높은 성능을 보였다.
• 영어-독일어 번역 작업에서는 VRNMT가 BLEU 점수 28.7을 기록하여 기존 NMT 모델보다 1.05 BLEU 포인트 높은 성능을 보였다.
• VRNMT는 중국어-영어 번역에서 변분 NMT(VNMT)보다 0.44 BLEU 포인트 높고, 영어-독일어 번역에서는 0.59 BLEU 포인트 높은 성능을 기록했다.
• 최근 몇몇 최신 기술 수준의 NMT 시스템과 비교했을 때 경쟁 가능한 성능을 보이며, 그 효과성과 일반화 능력을 입증했다.
• 절단 실험 결과, 정적 또는 단일 잠재 변수 접근 방식에 비해 잠재 변수의 순환 구조가 번역 품질 향상에 크게 기여하는 것으로 나타났다.
• 이 모델은 기존의 NMT 아키텍처와 수직적 관계를 이루며, 다른 최신 기술과 조합하여 성능 향상을 더욱 높일 수 있음을 시사한다.