[论文解读] Adversarially Regularized Autoencoders

Junbo Zhao, Yoon Kim+3 more|arXiv (Cornell University)|Jun 13, 2017

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 38

一句话总结

本文提出对抗正则化自编码器（ARAE），通过在潜在空间中使用学习到的先验，结合变分自编码器与对抗正则化，实现对文本等离散序列的深度潜在变量模型训练。该方法基于Wasserstein自编码器框架，最小化总体变差距离的上界，从而实现平滑、可控的文本生成与操作，在非对齐文本风格迁移任务中取得最先进性能。

ABSTRACT

Deep latent variable models, trained using variational autoencoders or generative adversarial networks, are now a key technique for representation learning of continuous structures. However, applying similar methods to discrete structures, such as text sequences or discretized images, has proven to be more challenging. In this work, we propose a flexible method for training deep latent variable models of discrete structures. Our approach is based on the recently-proposed Wasserstein autoencoder (WAE) which formalizes the adversarial autoencoder (AAE) as an optimal transport problem. We first extend this framework to model discrete sequences, and then further explore different learned priors targeting a controllable representation. This adversarially regularized autoencoder (ARAE) allows us to generate natural textual outputs as well as perform manipulations in the latent space to induce change in the output space. Finally we show that the latent representation can be trained to perform unaligned textual style transfer, giving improvements both in automatic/human evaluation compared to existing methods.

研究动机与目标

• 为解决在文本序列等离散结构上训练深度潜在变量模型的挑战，标准VAE常退化为无条件语言模型。
• 通过在潜在空间中使用连续潜在变量与对抗正则化，避免非可微目标，克服GAN在离散数据上的局限性。
• 通过在潜在空间中利用GAN学习灵活的参数化先验，实现潜在空间中可控的生成与操作。
• 在无需对齐平行数据的情况下，提升非对齐文本风格迁移任务（如情感或主题迁移）的性能。
• 在Wasserstein自编码器框架下形式化模型，确保最优传输与分布对齐的理论基础。

提出的方法

• 模型使用确定性编码器将离散输入（如句子）映射到连续潜在码，使用条件解码器（如RNN）从潜在码重建输入。
• 通过生成器网络引入学习到的先验，将噪声映射为潜在码，通过对抗训练使其匹配编码器输出的分布。
• 训练目标结合重建损失（交叉熵）与基于Wasserstein距离的对抗损失，最小化数据分布与模型分布之间总体变差距离的上界。
• 该框架支持多种先验类型：固定的高斯先验、基于GAN的学习先验，以及基于迁移的先验，可解耦情感或主题等属性。
• 通过生成器（先验）与判别器之间的极小化-极大化优化端到端训练，判别器用于区分真实潜在码与生成潜在码。
• 在潜在空间中使用插值与向量运算，实现语义上合理的句子操作，如改变情感或主题。

实验结果

研究问题

• RQ1 潜在空间中的对抗正则化是否能提升离散序列自编码器的训练稳定性和表征质量？
• RQ2 潜在空间中基于GAN的学习先验是否相比固定先验能实现更好的解耦与可控性？
• RQ3 ARAE模型在无需平行训练数据的情况下，能在多大程度上实现非对齐文本风格迁移（如情感迁移）？
• RQ4 Wasserstein自编码器框架是否为离散潜在变量模型提供理论坚实且有效的优化目标？
• RQ5 不同先验设计（高斯、学习型、基于迁移）如何影响生成序列的质量与可控性？

主要发现

• ARAE在非对齐情感迁移任务中达到最先进性能，在自动评估与人工评估中均优于先前方法。
• 潜在空间插值与向量运算可生成语义连贯的句子操作，如在保持内容不变的同时改变情感。
• 模型学习到一个平滑且解耦的潜在空间，可在多种文本结构上实现一致且可控的生成。
• 在潜在空间中通过GAN学习先验显著提升了生成质量与多样性，相比标准高斯等固定先验。
• 理论分析表明，交叉熵重建损失上界为模型与数据分布之间的总体变差距离，提供了稳健的优化目标。
• 在二值化MNIST与短文本序列上的实验表明，模型能生成多样化、高质量样本，并有效覆盖输入空间。