[论文解读] Conditional Variational Autoencoder for Neural Machine Translation

Artidoro Pagnoni, Kevin Liu+1 more|arXiv (Cornell University)|Dec 11, 2018

Natural Language Processing Techniques参考文献 12被引用 42

一句话总结

该论文在神经机器翻译（NMT）中引入条件变分自编码器，使用基于共同注意力的推断网络，在 BLEU 分数上优于判别基线和 VNMT 基线，并研究后验崩溃缓解策略与潜在空间行为。

ABSTRACT

We explore the performance of latent variable models for conditional text generation in the context of neural machine translation (NMT). Similar to Zhang et al., we augment the encoder-decoder NMT paradigm by introducing a continuous latent variable to model features of the translation process. We extend this model with a co-attention mechanism motivated by Parikh et al. in the inference network. Compared to the vision domain, latent variable models for text face additional challenges due to the discrete nature of language, namely posterior collapse. We experiment with different approaches to mitigate this issue. We show that our conditional variational model improves upon both discriminative attention-based translation and the variational baseline presented in Zhang et al. Finally, we present some exploration of the learned latent space to illustrate what the latent variable is capable of capturing. This is the first reported conditional variational model for text that meaningfully utilizes the latent variable without weakening the translation model.

研究动机与目标

• 激发潜变量模型以捕捉超越基于注意力的编码器的整体翻译特征。
• 将用于条件文本生成的CVAE扩展到具备共注意力推断网络的NMT。
• 评估在文本变分自编码器中缓解后验崩溃的策略并评估潜在空间质量。

提出的方法

• 使用带共享嵌入和RNN的编码器-解码器NMT。
• 引入神经先验 p(z|x) 和神经后验 q(z|x,y)，在源-目标之间采用基于共注意力的交互。
• 在 Bahdanau 风格的解码器中，基于 x、z 和注意力驱动的上下文进行条件解码。
• 使用 ELBO 目标和 KL 预热（α）进行训练，以控制后验崩溃。
• 在 IWSLT 2016 德英数据集上比较带注意力的 vanilla Seq2Seq、VNMT 和带共注意力的 CVAE。

实验结果

研究问题

• RQ1 带共注意力的 CVAE 是否在 NMT 中相对于带注意力的基线和 VNMT 提高了翻译质量？
• RQ2 共注意力如何影响后验分布 q(z|x,y) 的表达能力？
• RQ3 哪些策略在不牺牲翻译质量的前提下，最有效缓解条件文本 VAE 的后验崩溃？
• RQ4 学到的潜在空间在翻译风格和变异性方面揭示了什么？

主要发现

• 带共注意力的 CVAE 在德英翻译上对比带注意力的 vanilla Seq2Seq 和 VNMT 基线提升 BLEU。
• 当 KL 不为零时，共注意力后验的重构误差低于 VNMT，表明近似后验更具有表达力。
• KL 预热和 KL 系数策略有助于缓解后验崩溃，同时维持或提升 BLEU 分数。
• 潜在空间探索显示出多样而连贯的翻译与平滑插值，表明潜在表示有意义。
• 通过共注意力对源-目标交互进行显式条件化，增强翻译特定的潜在信息。