[论文解读] Latent Space Secrets of Denoising Text-Autoencoders.

Tianxiao Shen, Jonas Mueller+2 more|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 10被引用 4

一句话总结

本文提出去噪对抗自编码器（Denoising Adversarial Autoencoders, DAAE），通过在扰动输入上进行训练以重建原始句子，从而改善文本自编码器中潜在空间的几何结构。该方法确保语义相似的文本被映射到附近的潜在向量，从而通过简单的向量运算实现有效的零样本文本风格迁移。

ABSTRACT

Generative autoencoders offer a promising approach for controllable text generation by leveraging their latent sentence representations. However, current models struggle to maintain coherent latent spaces required to perform meaningful text manipulations via latent vector operations. Specifically, we demonstrate by example that neural encoders do not necessarily map similar sentences to nearby latent vectors. A theoretical explanation for this phenomenon establishes that high capacity autoencoders can learn an arbitrary mapping between sequences and associated latent representations. To remedy this issue, we augment adversarial autoencoders with a denoising objective where original sentences are reconstructed from perturbed versions (referred to as DAAE). We prove that this simple modification guides the latent space geometry of the resulting model by encouraging the encoder to map similar texts to similar latent representations. In empirical comparisons with various types of autoencoders, our model provides the best trade-off between generation quality and reconstruction capacity. Moreover, the improved geometry of the DAAE latent space enables zero-shot text style transfer via simple latent vector arithmetic.

研究动机与目标

• 解决现有文本自编码器中潜在空间几何结构不佳的问题，即语义相似的句子未被映射到附近的潜在向量。
• 为高容量自编码器为何能学习序列与潜在表示之间任意映射关系提供理论解释。
• 改善潜在空间的一致性与结构，以支持通过潜在向量操作实现有意义的文本操作。
• 与现有自编码器变体相比，实现更好的生成质量与重建能力之间的平衡。
• 通过改善潜在空间几何结构，实现仅通过简单潜在向量算术运算的零样本文本风格迁移。

提出的方法

• 在对抗自编码器中引入去噪目标，使模型能够从其扰动版本中重建原始句子。
• 通过在污染输入上最小化重建损失，训练编码器将相似句子映射到相似的潜在表示。
• 使用对抗训练确保潜在空间遵循先验分布，从而提升生成质量。
• 利用去噪目标对编码器进行正则化，增强其对输入变化的鲁棒性，并促进几何一致性。
• 通过组合重建损失、对抗损失以及潜在空间正则化项，端到端优化模型。
• 在训练后应用潜在向量算术（例如向量加法/减法）执行零样本文本风格迁移。

实验结果

研究问题

• RQ1 为何当前的文本自编码器尽管容量高，仍无法维持一致的潜在空间？
• RQ2 去噪目标能否改善文本自编码器中潜在空间的几何结构？
• RQ3 改进的潜在空间几何结构是否能通过潜在向量算术实现有效的零样本文本风格迁移？
• RQ4 与其它自编码器变体相比，所提出的DAAE模型在重建质量与生成能力方面表现如何？
• RQ5 去噪自编码器中潜在空间几何结构改善的理论机制是什么？

主要发现

• 去噪目标成功对编码器进行了正则化，确保语义相似的句子被映射到潜在空间中相近的点。
• DAAE在对比的自编码器模型中实现了最佳的重建能力与生成质量之间的平衡。
• 改进的潜在空间几何结构使得仅通过简单向量算术（如句子插值与风格迁移）即可实现零样本文本风格迁移。
• 理论分析表明，高容量自编码器能够学习任意映射，这解释了为何需要如去噪等归纳偏置来强制实现几何一致性。
• 实证结果表明，DAAE在重建保真度与潜在空间结构方面均优于标准变分自编码器与对抗自编码器。
• 去噪目标增强了编码器对输入扰动的鲁棒性，提升了泛化能力与稳定性。