[论文解读] Self-Adversarial Learning with Comparative Discrimination for Text Generation

Wangchunshu Zhou, Tao Ge+3 more|arXiv (Cornell University)|Jan 31, 2020

Topic Modeling参考文献 25被引用 11

一句话总结

本文提出自适应对抗学习（SAL），一种用于文本生成的新型生成对抗网络（GAN）框架。该框架通过使用比较性判别器替代标准的二元判别器，根据生成器的自我改进程度来给予奖励——即比较当前输出与过去生成的样本。通过使生成器在自身先前样本基础上实现改进时获得密集且信息丰富的奖励，SAL显著缓解了奖励稀疏性和模式崩溃问题，在基准数据集上显著提升了文本质量和多样性。

ABSTRACT

Conventional Generative Adversarial Networks (GANs) for text generation tend to have issues of reward sparsity and mode collapse that affect the quality and diversity of generated samples. To address the issues, we propose a novel self-adversarial learning (SAL) paradigm for improving GANs' performance in text generation. In contrast to standard GANs that use a binary classifier as its discriminator to predict whether a sample is real or generated, SAL employs a comparative discriminator which is a pairwise classifier for comparing the text quality between a pair of samples. During training, SAL rewards the generator when its currently generated sentence is found to be better than its previously generated samples. This self-improvement reward mechanism allows the model to receive credits more easily and avoid collapsing towards the limited number of real samples, which not only helps alleviate the reward sparsity issue but also reduces the risk of mode collapse. Experiments on text generation benchmark datasets show that our proposed approach substantially improves both the quality and the diversity, and yields more stable performance compared to the previous GANs for text generation.

研究动机与目标

• 为解决文本生成中因奖励稀疏性和模式崩溃导致的高质量、多样化文本生成困难问题。
• 通过引入自我改进奖励机制，提升对抗性文本生成的训练稳定性和性能。
• 将标准的二元分类学习信号替换为成对比较作为判别器的核心学习信号。
• 评估对比学习与自我对弈动态在文本生成中的有效性。
• 证明所提方法在质量与多样性方面优于现有基于GAN的文本生成方法。

提出的方法

• 提出一种自适应对抗学习（SAL）范式，当生成器的当前输出被判定优于先前生成的样本时，即获得奖励。
• 采用三分类比较性判别器，将生成的句子对分类为“更好”、“更差”或“近似相等”。
• 使用带有自 critic 基线的策略梯度算法，其中奖励为当前样本与过去样本之间的比较得分。
• 从深度强化学习中引入调度奖励和记忆回放技术以稳定训练过程。
• 使用最小最大目标训练生成器，其中判别器评估的是相对质量而非真实/虚假标签。
• 借鉴 AlphaGo 的自我对弈机制，激励生成器随时间持续改进。

实验结果

研究问题

• RQ1 比较性判别器通过评估生成样本之间的相对质量，能否提升文本 GAN 的训练稳定性？
• RQ2 自我改进奖励机制是否能减少奖励稀疏性并提升文本生成中的学习信号密度？
• RQ3 与标准 GAN 相比，自适应对抗学习在多大程度上缓解了模式崩溃？
• RQ4 比较性判别器中引入“近似相等”类别对性能有何影响？
• RQ5 所提方法是否能在质量与多样性方面超越现有基于 GAN 的文本生成方法？

主要发现

• 在 COCO 数据集上，SAL 的困惑度为 231.3 ± 10.8，显著优于 CAL（276.7 ± 12.5）及其他消融变体。
• 在合成数据上，SAL 的负对数似然（NLL）为 14.29 ± 0.11，显著低于次优基线方法（14.65 ± 0.16）。
• 消融实验表明，移除“≈”类别对性能影响最大，表明其在提供稳定比较基准方面具有关键作用。
• 去除调度奖励与去除记忆回放的消融实验均导致性能下降，证实了这些训练技术的价值，尽管其重要性低于核心组件。
• 仅使用比较性判别器（CAL）已优于标准 GAN，证明基于比较的学习机制具有有效性。
• SAL 展现出更稳定的训练过程和更强的泛化能力，跨多次运行的方差更低，优于先前方法。