[论文解读] APo-VAE: Text Generation in Hyperbolic Space

Shuyang Dai, Zhe Gan+4 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 46被引用 4

一句话总结

APo-VAE 提出了一种基于庞加莱球上包裹正态分布的双曲变分自编码器，用于建模自然语言中的层次结构。通过利用 KL 散度的对偶-对偶公式进行对抗训练，该方法在文本生成、语言建模和风格迁移任务中均取得优越性能，同时缓解了后验坍缩问题。

ABSTRACT

Natural language often exhibits inherent hierarchical structure ingrained with complex syntax and semantics. However, most state-of-the-art deep generative models learn embeddings only in Euclidean vector space, without accounting for this structural property of language. In this paper, we investigate text generation in a hyperbolic latent space to learn continuous hierarchical representations. An Adversarial Poincare Variational Autoencoder (APo-VAE) is presented, where both the prior and variational posterior of latent variables are defined over a Poincare ball via wrapped normal distributions. By adopting the primal-dual formulation of KL divergence, an adversarial learning procedure is introduced to empower robust model training. Extensive experiments in language modeling and dialog-response generation tasks demonstrate the winning effectiveness of the proposed APo-VAE model over VAEs in Euclidean latent space, thanks to its superb capabilities in capturing latent language hierarchies in hyperbolic space.

研究动机与目标

• 为解决欧几里得 VAE 在捕捉自然语言固有层次结构方面的局限性。
• 探究双曲几何，特别是庞加莱球模型，是否能更好地表示树状结构的语言层次。
• 通过引入对偶-对偶 KL 散度公式实现对抗优化，提升基于 VAE 的文本生成训练稳定性和表征质量。
• 通过在双曲空间中采用更具信息量、数据驱动的先验分布，缓解文本 VAE 中的后验坍缩问题。
• 在语言建模、风格迁移和对话生成等多个 NLP 任务中，证明双曲潜在空间的有效性。

提出的方法

• 在庞加莱球上使用包裹正态分布定义先验分布和变分后验分布，以建模层次化潜在结构。
• 采用 KL 散度的对偶-对偶公式，实现变分界上的对抗优化，避免依赖蒙特卡洛近似。
• 引入 VampPrior 设计，通过变分后验的混合形式增强先验复杂度，改善表征学习。
• 应用对抗训练以在非对齐风格迁移中解耦内容与情感，使用情感分类器进行优化。
• 开发 APo-VAE 的条件变体用于对话回复生成，基于对话上下文进行条件生成。
• 使用潜在编码的二维投影可视化层次结构，证实较长、更复杂的句子被嵌入到庞加莱球的外缘。

实验结果

研究问题

• RQ1 与欧几里得空间相比，双曲潜在空间是否能更有效地捕捉自然语言的层次结构？
• RQ2 在庞加莱球上使用包裹正态分布是否能实现更高效且更稳定的 VAE 训练，用于文本生成？
• RQ3 与标准变分推断相比，对偶-对偶 KL 公式是否能提升文本 VAE 的训练稳定性和表征质量？
• RQ4 APo-VAE 在多大程度上缓解了文本生成任务中的后验坍缩问题？
• RQ5 与现有基于 VAE 的模型相比，APo-VAE 在语言建模、非对齐风格迁移和对话生成等多样化 NLP 任务中的表现如何？

主要发现

• 在 PTB 数据集上，APo-VAE 的负 ELBO（116.2）和 PPL（6.1）均低于所有基线模型，包括 iVAE、β-VAE 和 P-VAE。
• 该模型表现出更高的 KL 散度项以及潜在编码与输入之间的更大互信息，表明后验坍缩程度更低。
• 在非对齐风格迁移中，APo-VAE 的 BLEU 得分为 37.8，优于 iVAE（36.7），在信息量（52.8% 胜率）和多样性（51.2% 胜率）方面均有显著提升。
• 在对话回复生成任务中，APo-VAE 将平均召回率从 iVAE 的 0.427 提升至 0.438，同时将 intra-dist-2 从 0.692 提升至 0.792，表明生成结果更具多样性。
• 人工评估显示，与竞争模型相比，APo-VAE 在 52.8% 的情况下更受青睐于信息量，63.7% 的情况下更优于连贯性，62.1% 的情况下更优于多样性。
• 可视化结果证实，较长、更复杂的句子被嵌入到庞加莱球的外缘，支持模型学习层次化表征的能力。