[论文解读] Adversarial Feature Matching for Text Generation

Yizhe Zhang, Zhe Gan+5 more|arXiv (Cornell University)|Jun 12, 2017

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 124

一句话总结

TextGAN 使用 LSTM 生成器和 CNN 判别器，结合基于核的 MMD 特征匹配目标，生成逼真句子并缓解文本数据的 GAN 模式崩溃。

ABSTRACT

The Generative Adversarial Network (GAN) has achieved great success in generating realistic (real-valued) synthetic data. However, convergence issues and difficulties dealing with discrete data hinder the applicability of GAN to text. We propose a framework for generating realistic text via adversarial training. We employ a long short-term memory network as generator, and a convolutional network as discriminator. Instead of using the standard objective of GAN, we propose matching the high-dimensional latent feature distributions of real and synthetic sentences, via a kernelized discrepancy metric. This eases adversarial training by alleviating the mode-collapsing problem. Our experiments show superior performance in quantitative evaluation, and demonstrate that our model can generate realistic-looking sentences.

研究动机与目标

• 受到将 GAN 应用于离散文本数据的困难以及序列模型中的暴露偏差的启发。
• 旨在通过在潜在空间中对齐真实句子特征与合成句子特征，生成连贯且多样的句子。
• 提出一个基于核的矩匹配目标以稳定训练并鼓励输出的多样性。
• 并加入对潜在编码的重构，以保留关于生成过程的信息。

提出的方法

• 使用一个 LSTM 作为生成器，将潜在编码 z 映射到合成句子。
• 使用一个 CNN 作为判别器，输出句子特征和二元的真/假预测。
• 引入特征匹配损失 L_MMD^2，以在带高斯核的再生希尔伯特空间（RKHS）中对齐真实与合成句子特征的分布。
• 添加重构损失 L_recon，鼓励从生成句子中恢复潜在编码。
• 在判别器目标中将 GAN 损失与 L_recon 和 L_MMD^2 结合，以对训练进行正则化。
• 使用 soft-argmax 近似和预训练策略以稳定训练并处理离散文本输出。

实验结果

研究问题

• RQ1 能否通过带有基于核的特征匹配的对抗训练比标准文本 GAN 更有效地生成逼真的句子？
• RQ2 通过 MMD 匹配潜在特征分布是否能够缓解模式崩溃并提升生成句子的多样性？
• RQ3 重构项和特征匹配项如何影响训练稳定性和生成句子质量？
• RQ4 嵌入与核的选择对生成文本的质量与多样性有何影响？

主要发现

• 使用基于 MMD 的特征匹配的 TextGAN 在 BLEU 分数和 KDE 上高于若干基线，指示句子质量与多样性提高。
• MMD 和 MMD-L 变体通常在 BLEU 和 KDE 上得分较高，MMD-L 在 BLEU-2 上尤其强。
• 该模型表明合成句子特征在 900 维空间中覆盖并与真实句子特征分布对齐。
• 预训练和稳定化技术（soft-argmax、基于置换的判别器预训练）有助于训练稳定性。
• 与 AE、VAE、seqGAN 以及标准 TextGAN 变体相比，TextGAN 变体在所评估语料库上获得更好的定量指标。