[论文解读] Probabilistic Natural Language Generation with Wasserstein Autoencoders.

Hareesh Bahuleyan, Lili Mou+3 more|arXiv (Cornell University)|Jun 22, 2018

Topic Modeling参考文献 15被引用 5

一句话总结

本文提出 Wasserstein 自编码器（WAE）用于概率性自然语言生成，以替代变分自编码器（VAE），避免出现 KL 梯度消失问题。该方法实现了稳定、对超参数不敏感的训练，无需权重退火，生成的潜在空间更平滑，句子重建的 BLEU 分数显著高于标准 VAE。

ABSTRACT

Probabilistic generation of natural language sentences is an important task in NLP. Existing models such as variational autoencoders (VAE) for sequence generation are extremely difficult to train due to the issues associated with the Kullback-Leibler (KL) loss collapsing to zero. One has to implement various heuristics such as KL weight annealing and word dropout in a carefully engineered manner to successfully train a text VAE. In this paper, we propose the use of Wasserstein autoencoders (WAE) for probabilistic natural language sentence generation. We show that sequence-to-sequence WAEs are more robust towards hyperparameters and can be trained in a straightforward manner without the need for any weight annealing. Empirical evidence shows that the latent space learned by WAEs exhibits properties of continuity and smoothness as in VAEs, while simultaneously achieving much higher BLEU scores for sentence reconstruction.

研究动机与目标

• 解决变分自编码器（VAE）在自然语言生成中因 KL 损失崩溃导致的不稳定与训练困难问题。
• 探究 Wasserstein 自编码器（WAE）是否能为序列生成提供更稳定的替代方案，并具备更优的优化行为。
• 评估 WAE 是否保持了类似 VAE 的理想潜在空间特性，如连续性与平滑性。
• 通过 BLEU 等自动评估指标，比较 WAE 与 VAE 在句子重建质量上的表现。

提出的方法

• 作者将 WAE 框架应用于序列到序列的生成任务，用基于 Wasserstein 距离的分布匹配损失替代标准 VAE 的目标函数。
• 通过最小化潜在码的先验分布与后验分布之间的 Wasserstein 距离，学习潜在空间。
• 与 VAE 不同，该方法避免使用 KL 散度，从而消除了训练过程中对 KL 权重退火的需求。
• 模型采用编码器-解码器结构，并结合重参数化技巧，以支持通过随机潜在变量的反向传播。
• 训练目标通过基于梯度的方法进行优化，无需任何启发式调度策略。
• 模型在文本序列上进行端到端训练，潜在空间通过分布匹配约束进行正则化。

实验结果

研究问题

• RQ1 WAE 是否可成功应用于自然语言处理中的序列生成任务？
• RQ2 WAE 框架是否能消除文本自编码器中对 KL 权重退火的需求？
• RQ3 WAE 学习到的潜在空间在连续性与平滑性方面与 VAE 相比如何？
• RQ4 WAE 在标准 NLP 基准上的句子重建性能与 VAE 相比如何？
• RQ5 与传统 VAE 相比，WAE 方法是否对超参数选择更具鲁棒性？

主要发现

• 基于 WAE 的模型在句子重建任务中取得显著更高的 BLEU 分数，表明其生成质量更优。
• WAE 学习到的潜在空间表现出与 VAE 相似的连续性与平滑性，表明其具备有意义的解耦表示。
• 训练过程稳定，无需使用任何启发式技术（如 KL 权重退火）。
• 模型对超参数设置具有鲁棒性，减少了对精细调参的需求。
• 实证结果证实，WAE 在序列生成任务中的训练稳定性与生成质量方面均优于 VAE。