[论文解读] ColdGANs: Taming Language GANs with Cautious Sampling Strategies

Thomas Scialom, Paul-Alexis Dray+3 more|arXiv (Cornell University)|Jun 8, 2020

Topic Modeling参考文献 57被引用 6

一句话总结

该论文提出ColdGANs，一种通过采用谨慎采样策略来稳定训练的新型语言GAN训练方法，专注于模式探索。通过将探索范围限制在接近数据分布模式的区域，ColdGANs在无条件文本生成、问题生成（23.05 BLEU-4）和抽象摘要生成（41.12 ROUGE-L）任务上取得最先进结果，优于MLE和先前的GAN基方法。

ABSTRACT

Training regimes based on Maximum Likelihood Estimation (MLE) suffer from known limitations, often leading to poorly generated text sequences. At the root of these limitations is the mismatch between training and inference, i.e. the so-called exposure bias, exacerbated by considering only the reference texts as correct, while in practice several alternative formulations could be as good. Generative Adversarial Networks (GANs) can mitigate those limitations but the discrete nature of text has hindered their application to language generation: the approaches proposed so far, based on Reinforcement Learning, have been shown to underperform MLE. Departing from previous works, we analyze the exploration step in GANs applied to text generation, and show how classical sampling results in unstable training. We propose to consider alternative exploration strategies in a GAN framework that we name ColdGANs, where we force the sampling to be close to the distribution modes to get smoother learning dynamics. For the first time, to the best of our knowledge, the proposed language GANs compare favorably to MLE, and obtain improvements over the state-of-the-art on three generative tasks, namely unconditional text generation, question generation, and abstractive summarization.

研究动机与目标

• 为解决现有语言GAN存在的训练不稳定和性能不佳问题，这些问题源于离散序列生成中的高方差梯度估计和稀疏奖励。
• 探究判别器专业化程度与探索动态如何影响文本GAN的训练稳定性。
• 开发一种采样策略，以缩小探索空间，并使生成器更新保持在数据分布模式附近，从而实现更平稳的训练过程。
• 证明谨慎采样可使语言GAN在多个文本生成任务上超越基于MLE的模型。
• 通过自动评估与人工评估，在无条件生成、问题生成和抽象摘要任务中验证ColdGANs的有效性。

提出的方法

• 提出一种改进的GAN训练框架ColdGANs，用谨慎采样策略替代标准探索方式，以稳定学习过程。
• 引入一种温度控制的采样机制（例如，T=0.2的nucleus采样），以限制探索范围至高概率、邻近模式的序列。
• 采用判别器对生成序列进行评估并提供对抗性奖励，通过约束生成器采样以避免分布外、低似然性的序列，从而稳定训练过程。
• 采用两阶段训练流程：先通过MLE预训练生成器和判别器，再使用对抗损失和谨慎采样进行ColdGANs微调。
• 将该方法应用于T5-small和BART模型，在推理阶段使用束搜索（T5为K=1，BART为K=4）。
• 提出一种改进的探索策略，以降低方差，并防止生成器偏离到潜在空间中得分差、非模式区域。

实验结果

研究问题

• RQ1 判别器专业化程度在多大程度上影响语言GAN中的探索行为与训练稳定性？
• RQ2 将探索限制在数据分布模式是否能改善语言GAN的训练动态与性能？
• RQ3 与MLE和标准GAN相比，生成器中采用谨慎采样是否能带来与人类判断更一致的结果，并提升自动评估指标？
• RQ4 ColdGANs能否在多样化的文本生成任务（包括抽象摘要和问题生成）上实现最先进性能？
• RQ5 ColdGANs在多大程度上缓解了序列生成中的暴露偏差，特别是在长序列生成中？

主要发现

• ColdGANs在问题生成任务上达到新的最先进水平，BLEU-4为23.05，显著优于基于MLE的BART模型。
• 在抽象摘要任务中，ColdGANs取得41.12的ROUGE-L分数，超越先前最先进方法。
• 人工评估显示，ColdGANs在流畅性方面得分4.36/5，优于MLE-BART的3.80/5（p<.001显著性），同时保持了较强的语义相关性与答案可回答性。
• 与标准GAN相比，判别器在ColdGANs中为生成样本分配更低的概率，表明其具备更强的对抗性能。
• 对于更长的目标序列，ColdGANs相比MLE的相对增益更大，表明其有效缓解了暴露偏差。
• 使用nucleus采样（T=0.2，ε=0.9）的ColdGANs在所有评估任务中均持续优于标准GAN和MLE基线。