[논문 리뷰] Variational Neural Machine Translation

Biao Zhang, Deyi Xiong외 3명|arXiv (Cornell University)|2016. 05. 25.

Natural Language Processing Techniques참고 문헌 17인용 수 33

한 줄 요약

이 논문은 연속 잠재변수를 도입하여 원천-대상 문장 쌍의 내재된 의미를 명시적으로 모델링하는 생성적 인코더-디코더 모델인 변분 신경 기계 번역(VNMT)을 제안한다. 재구성 기법을 사용한 신경 기반 사후 근사기와 함께 효율적인 변분 추론을 통해 표준 어텐션 기반 NMT에 비해 번역 품질을 향상시키며, 특히 긴 문장에서 뚜렷한 성능 향상을 보이며 중국어-영어 및 영어-독일어 벤치마크에서 유의미한 성과를 달성한다.

ABSTRACT

Models of neural machine translation are often from a discriminative family of encoderdecoders that learn a conditional distribution of a target sentence given a source sentence. In this paper, we propose a variational model to learn this conditional distribution for neural machine translation: a variational encoderdecoder model that can be trained end-to-end. Different from the vanilla encoder-decoder model that generates target translations from hidden representations of source sentences alone, the variational model introduces a continuous latent variable to explicitly model underlying semantics of source sentences and to guide the generation of target translations. In order to perform efficient posterior inference and large-scale training, we build a neural posterior approximator conditioned on both the source and the target sides, and equip it with a reparameterization technique to estimate the variational lower bound. Experiments on both Chinese-English and English- German translation tasks show that the proposed variational neural machine translation achieves significant improvements over the vanilla neural machine translation baselines.

연구 동기 및 목표

• 어텐션 기반 신경 기계 번역의 한계를 해결하기 위해, 암묵적인 의미 정렬에 의존하고 긴 문장에서 실패할 수 있는 문제를 해결한다.
• 연속 잠재변수를 사용하여 双어 문장 쌍의 내재된 의미 공간을 명시적으로 모델링한다.
• 변분 추론과 신경 시퀀스 모델링을 통합한 미분 가능하고 엔드 투 엔드로 훈련 가능한 모델을 개발한다.
• 잠재변수에서 유도되는 정규화 효과를 통해 번역의 강인성과 성능을 향상시킨다.

제안 방법

• 원천 문장과 목표 문장 간의 공통 의미적 내용을 모델링하기 위해 잠재변수 z를 사용하는 변분 오토인코더 스타일의 프레임워크를 도입한다.
• 진정한 사후분포 p(z|x,y)를 추정할 수 없는 불가능한 경우를 고려해, 원천 및 목표 입력에 조건부인 신경 기반 사후 근사기 qϕ(z|x,y)를 사용한다.
• 잠재변수를 통해 역전파를 가능하게 하기 위해 재구성 기법을 적용하여 엔드 투 엔드 훈련을 가능하게 한다.
• 사전분포 pθ(z|x)를 원천 문장 자체의 함수로 모델링하여 전반적인 의미적 구조를 포착한다.
• 디코더에서 잠재변수 z와 원천 표현을 조합하여 pθ(y|z,x)를 통해 목표 시퀀스를 생성한다.
• 표준 확률적 경사하강법을 사용하여 변분 하한(ELBO)을 최적화함으로써 대규모 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속 잠재변수를 도입함으로써 신경 기계 번역에서 내재된 의미를 더 잘 모델링할 수 있는가?
• RQ2 재구성 기법을 사용한 변분 추론 프레임워크는 표준 어텐션 기반 NMT에 비해 번역 품질에 어떤 영향을 미치는가?
• RQ3 잠재변수가 일반화 능력을 향상시키는 정규화 효과를 제공하는가, 특히 긴 또는 복잡한 문장에서 그러한 효과가 나타나는가?
• RQ4 제안된 모델은 대규모 데이터셋에서 효율성과 확장성을 유지하면서 엔드 투 엔드로 훈련될 수 있는가?

주요 결과

• VNMT는 중국어-영어 및 영어-독일어 번역 작업에서 베이직 NMT 기반 모델에 비해 뚜렷한 향상을 보였다.
• 어텐션 메커니즘이 악성 정렬으로 인해 실패하기 쉬운 긴 문장에서 특히 높은 성능 향상을 보였다.
• 잠재변수는 어텐션 메커니즘의 보완이 되는 글로벌 의미 신호로 작용하여 오류가 발생할 수 있는 정렬에 대한 의존도를 감소시켰다.
• 재구성 기반 훈련을 통해 변분 하한의 효과적인 최적화가 가능해져 모델의 확장성과 엔드 투 엔드 훈련 가능성이 확보되었다.
• 잠재변수에서 유도되는 정규화 효과 덕분에 일반화 능력과 강인성이 향상되었다.