[论文解读] CatGAN: Category-aware Generative Adversarial Networks with Hierarchical Evolutionary Learning for Category Text Generation

Zhiyue Liu, Jiahai Wang+1 more|arXiv (Cornell University)|Nov 15, 2019

Topic Modeling参考文献 29被引用 5

一句话总结

CatGAN 提出了一种类别感知的生成对抗网络，结合分层演化学习，实现跨多个类别的可控、高质量文本生成。通过使用相对判别器衡量类别特定的样本差异，并利用 Gumbel-Softmax 实现端到端训练，CatGAN 在合成数据集和真实世界数据集上均实现了更优的生成质量与多样性，其 BLEU、NLL 和人工评估得分均优于当前最先进方法。

ABSTRACT

Generating multiple categories of texts is a challenging task and draws more and more attention. Since generative adversarial nets (GANs) have shown competitive results on general text generation, they are extended for category text generation in some previous works. However, the complicated model structures and learning strategies limit their performance and exacerbate the training instability. This paper proposes a category-aware GAN (CatGAN) which consists of an efficient category-aware model for category text generation and a hierarchical evolutionary learning algorithm for training our model. The category-aware model directly measures the gap between real samples and generated samples on each category, then reducing this gap will guide the model to generate high-quality category samples. The Gumbel-Softmax relaxation further frees our model from complicated learning strategies for updating CatGAN on discrete data. Moreover, only focusing on the sample quality normally leads the mode collapse problem, thus a hierarchical evolutionary learning algorithm is introduced to stabilize the training procedure and obtain the trade-off between quality and diversity while training CatGAN. Experimental results demonstrate that CatGAN outperforms most of the existing state-of-the-art methods.

研究动机与目标

• 为解决在多个类别中生成高质量、多样化文本并实现语义可控性的挑战。
• 克服现有基于 GAN 的类别文本生成模型中存在的训练不稳定与模式崩溃问题。
• 通过引入更简单、更稳定的训练框架，消除对强化学习和辅助组件的依赖。
• 通过一种新颖的分层演化学习算法，实现样本质量与多样性的平衡权衡。
• 提出一种基于样本重复性的新多样性评估指标，用于类别文本生成。

提出的方法

• 引入一种按类别划分的相对判别器，通过衡量每个类别内生成样本与真实样本之间的差异，引导更精确的训练。
• 采用基于关系记忆核心（RMC）的生成器，相比 LSTM 更好地捕捉长距离依赖关系。
• 利用 Gumbel-Softmax 平滑技术，实现对离散文本标记的可微分训练，无需强化学习。
• 设计一种两阶段的分层演化学习算法：先通过温度控制提升多样性，再通过多目标优化实现质量与多样性的平衡。
• 维护一个生成器种群，仅保留高性能后代，以减少模式崩溃并稳定训练过程。
• 提出一种基于生成样本重复性的新多样性指标，以更准确评估生成结果的多样性。

实验结果

研究问题

• RQ1 类别感知 GAN 框架是否能在不依赖强化学习的前提下，实现多类别文本生成中更优的样本质量与多样性？
• RQ2 如何在基于 GAN 的类别文本生成中缓解训练不稳定性与模式崩溃问题？
• RQ3 分层演化学习在多大程度上改善了文本生成中的质量-多样性权衡？
• RQ4 一种在每个类别内比较生成样本与真实样本的相对判别器，是否能带来更精确、更可控的生成结果？
• RQ5 所提出的基于样本重复性的多样性指标，在评估文本生成多样性方面，与现有指标相比表现如何？

主要发现

• 在序列长度为 40 的合成数据上，CatGAN 相较于最佳基线模型将 NLL_oracle 降低了 0.521，相较于 RankGAN 降低了 3.723，表明其在长上下文建模方面具有显著优势。
• 当温度 τ_tar = 5 时，CatGAN 相较于 RelGAN 在 NLL_oracle 上提升了 0.956，证明了分层演化学习在缓解模式崩溃方面的有效性。
• 在 EN 数据集上，CatGAN 达到了最高的 BLEU 分数，并在 NLL_gen 和 NLL_div 上分别优于最佳基线 0.04 和 0.021，表明其在质量与多样性方面均有提升。
• 人工评估显示，CatGAN 在所有类别中均取得了最高的调和平均分（4.3），在语法正确性与语义连贯性方面显著优于 SentiGAN 和 CSGAN。
• 案例研究证实，CatGAN 生成的句子更长、更易读且类别准确，尤其在 AR 等长序列任务中表现突出，而 CSGAN 和 SentiGAN 生成了大量短句或难以理解的输出。
• 分层演化学习算法使 CatGAN 在迭代过程中持续保持高质量、多样化的样本，即使在高多样性设置下性能也持续提升。