[论文解读] Educating Text Autoencoders: Latent Representation Guidance via Denoising

Tianxiao Shen, Jonas Mueller+2 more|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 37被引用 31

一句话总结

本文提出去噪对抗自编码器（Denoising Adversarial Autoencoders, DAAE），通过在噪声输入上进行训练以重建原始句子，从而增强文本自编码器。通过引入去噪目标，DAAE 在潜在空间中强制实现几何结构，实现高质量文本生成和无需微调的零样本风格迁移，其在重建质量和生成质量方面优于现有自编码器。

ABSTRACT

Generative autoencoders offer a promising approach for controllable text generation by leveraging their latent sentence representations. However, current models struggle to maintain coherent latent spaces required to perform meaningful text manipulations via latent vector operations. Specifically, we demonstrate by example that neural encoders do not necessarily map similar sentences to nearby latent vectors. A theoretical explanation for this phenomenon establishes that high capacity autoencoders can learn an arbitrary mapping between sequences and associated latent representations. To remedy this issue, we augment adversarial autoencoders with a denoising objective where original sentences are reconstructed from perturbed versions (referred to as DAAE). We prove that this simple modification guides the latent space geometry of the resulting model by encouraging the encoder to map similar texts to similar latent representations. In empirical comparisons with various types of autoencoders, our model provides the best trade-off between generation quality and reconstruction capacity. Moreover, the improved geometry of the DAAE latent space enables zero-shot text style transfer via simple latent vector arithmetic.

研究动机与目标

• 为解决文本自编码器潜在空间缺乏几何结构的问题，该问题阻碍了有意义的文本操作。
• 探究去噪是否能引导编码器将语义相似的句子映射到潜在空间中邻近的向量。
• 开发一种在保持高重建与生成质量的同时，支持可控文本操作的方法。
• 证明无监督去噪训练可实现无需属性标签的零样本风格迁移。
• 从理论和实证两方面证明，去噪可强制实现强大序列模型潜在空间中的邻域保持。

提出的方法

• 为对抗自编码器（AAE）引入去噪目标，使其能够从扰动输入（如随机掩码词语）中重建原始句子。
• 训练编码器与解码器，在保持潜在先验匹配的对抗训练的同时，最小化在噪声输入上的重建损失。
• 证明在去噪准则下，杂乱的映射是次优的，从而强制编码器在潜在空间中保持局部句子结构。
• 利用所得的 DAAE 模型，通过简单的向量运算（如加减情感或时态向量）实现零样本文本风格迁移。
• 将模型应用于插值任务，并通过定性和定量评估比较不同模型在潜在空间连续性方面的表现。
• 利用去噪目标隐式鼓励表示的解耦与结构化，类似于 BERT 的掩码语言建模。

实验结果

研究问题

• RQ1 去噪能否改善文本自编码器潜在表示的几何结构？
• RQ2 去噪目标是否能提升潜在空间中语义邻域的保持程度？
• RQ3 DAAE 是否能在无任何监督或属性标签的情况下实现零样本文本风格迁移？
• RQ4 DAAE 在重建质量与生成能力方面相较于其他自编码器表现如何？
• RQ5 去噪在多大程度上增强了潜在空间插值的连续性？

主要发现

• 在所有评估的自编码器（包括 AAE、VAE 和 LAAE）中，DAAE 在生成质量与重建能力之间实现了最佳平衡。
• 去噪目标显著改善了潜在空间的几何结构，表现为语义邻域保持更优，插值更平滑。
• DAAE 通过简单的向量运算（如改变情感或时态）实现了有效的零样本风格迁移，无需微调或标签。
• 定性示例表明，与 AAE、VAE 和 LAAE 相比，DAAE 生成的插值结果和向量运算结果更具语义一致性。
• 模型在语义差异较大的句子之间插值的表现表明，潜在空间中语言连贯性与主题一致性得到提升。
• 理论分析证实，去噪可抑制任意映射，使杂乱的编码器在去噪准则下成为次优选择。