[논문 리뷰] Conditional Variational Autoencoder for Neural Machine Translation

Artidoro Pagnoni, Kevin Liu외 1명|arXiv (Cornell University)|2018. 12. 11.

Natural Language Processing Techniques참고 문헌 12인용 수 42

한 줄 요약

이 논문은 공동 주의 기반 추론 네트워크를 활용한 조건부 변분 오토인코더(CVAE)로 NMT를 보강하고, 판별적 베이스라인 및 VNMT 베이스라인 대비 BLEU를 향상시켰으며, 포스터리어 붕괴 완화와 잠재 공간의 동작을 조사한다.

ABSTRACT

We explore the performance of latent variable models for conditional text generation in the context of neural machine translation (NMT). Similar to Zhang et al., we augment the encoder-decoder NMT paradigm by introducing a continuous latent variable to model features of the translation process. We extend this model with a co-attention mechanism motivated by Parikh et al. in the inference network. Compared to the vision domain, latent variable models for text face additional challenges due to the discrete nature of language, namely posterior collapse. We experiment with different approaches to mitigate this issue. We show that our conditional variational model improves upon both discriminative attention-based translation and the variational baseline presented in Zhang et al. Finally, we present some exploration of the learned latent space to illustrate what the latent variable is capable of capturing. This is the first reported conditional variational model for text that meaningfully utilizes the latent variable without weakening the translation model.

연구 동기 및 목표

• 어텐션 기반 인코더를 넘어 포괄적인 번역 특성을 포착하기 위한 잠재 변수 모델의 동기를 제시한다.
• 공동 주의 인퍼런스 네트워크를 갖춘 조건부 텍스트 생성을 위한 CVAE를 NMT로 확장한다.
• 텍스트 VAE에서의 포스터리어 붕괴 완화 전략을 평가하고 잠재 공간의 품질을 평가한다.

제안 방법

• 공유 임베딩과 RNN을 갖춘 인코더-디코더 NMT를 사용한다.
• 소스와 타깃 간의 공동 주의 기반 상호작용을 갖는 신경 사전분포 p(z|x)와 신경 사후분포 q(z|x,y)를 도입한다.
• Bahdanau 스타일의 디코더에서 x, z 및 주의 기반 컨텍스트로 조건부로 디코딩한다.
• ELBO 목적함수와 KL 워밍업(α)을 사용하여 posterior collapse를 관리하면서 학습한다.
• IWSLT 2016 독일어-영어 데이터에서 주의가 있는 기본 Seq2Seq, VNMT, 및 co-attention이 적용된 CVAE를 비교한다.

실험 결과

연구 질문

• RQ1 CVAE와 공동 주의가 NMT에서 주의 기반 베이스라인 및 VNMT보다 번역 품질을 향상시키는가?
• RQ2 공동 주의가 q(z|x,y)의 표현력을 어떻게 영향을 미치는가?
• RQ3 번역 품질을 잃지 않으면서 conditional text VAEs의 posterior collapse를 완화하는 최적의 전략은 무엇인가?
• RQ4 학습된 잠재 공간이 번역 스타일과 변이성에 대해 무엇을 포착하는가?

주요 결과

• 공동 주의가 적용된 CVAE가 독일어-영어 번역에서 일반 Seq2Seq with attention 및 VNMT 기반보다 BLEU를 향상시킨다.
• 공동 주의 사후분포가 VNMT보다 재구성 오차가 더 작아 KL이 0이 아닐 때 더 표현력 있는 근사 사후분포를 제공한다.
• KL 워밍업 및 KL 계수 전략이 posterior collapse를 완화하면서 BLEU 점수를 유지하거나 향상시킨다.
• 잠재 공간 탐색이 다채롭고 일관된 번역과 매끄러운 보간을 보여 의미 있는 잠재 표현을 시사한다.
• 소스-타깃 상호작용을 통해 posterior를 명시적으로 조건화하는 것이 번역에 특화된 잠재 정보를 향상시킨다.