[论文解读] Generative Cooperative Networks for Natural Language Generation

Sylvain Lamprier, Thomas Scialom+5 more|arXiv (Cornell University)|Jan 28, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出生成式协作网络（GCN），一种基于生成对抗网络（GAN）的新颖自然语言生成框架，通过生成器与判别器在协作解码机制下的协同作用，实现训练稳定化并确保理论收敛。通过采用类似于玻尔兹曼采样分布、其比例与前一时刻生成器得分和当前判别器得分乘积成正比的方式，GCN在抽象摘要生成与问题生成任务中取得最先进性能，克服了传统语言GAN中常见的训练不稳定与梯度消失问题。

ABSTRACT

Generative Adversarial Networks (GANs) have known a tremendous success for many continuous generation tasks, especially in the field of image generation. However, for discrete outputs such as language, optimizing GANs remains an open problem with many instabilities, as no gradient can be properly back-propagated from the discriminator output to the generator parameters. An alternative is to learn the generator network via reinforcement learning, using the discriminator signal as a reward, but such a technique suffers from moving rewards and vanishing gradient problems. Finally, it often falls short compared to direct maximum-likelihood approaches. In this paper, we introduce Generative Cooperative Networks, in which the discriminator architecture is cooperatively used along with the generation policy to output samples of realistic texts for the task at hand. We give theoretical guarantees of convergence for our approach, and study various efficient decoding schemes to empirically achieve state-of-the-art results in two main NLG tasks.

研究动机与目标

• 为解决在自然语言生成（NLG）中，离散序列生成的生成对抗网络（GAN）训练存在的不稳定性与缺乏收敛性问题。
• 克服基于强化学习的GAN训练在语言生成中的局限性，包括高方差与非平稳奖励问题。
• 提出一种理论基础坚实的现有GAN-based NLG方法替代方案，避免灾难性遗忘并提供收敛性保证。
• 开发实用且高效的解码策略，不仅利用判别器进行奖励塑造，还用于协作式样本生成。
• 通过协作、稳定且理论可靠的训练框架，在抽象摘要生成与问题生成任务中实现最先进性能。

提出的方法

• 提出一种新型训练目标，其中模仿采样分布与前一时刻生成器分布和当前判别器得分的乘积成正比：$ q_t \propto p_{t-1} D_t $。
• 引入一种协作式解码机制，利用判别器引导束搜索或蒙特卡洛采样，偏好判别器认为更真实的序列。
• 采用重要性采样与重加权技术，高效地利用来自协作分布 $ q_t $ 的样本优化生成器。
• 在与连续GAN相似的假设下（Goodfellow et al., 2014），推导出理论收敛性保证，确保生成器分布收敛至真实数据分布。
• 将Norouzi等人（2016）提出的奖励增强最大似然（RML）框架进行适配，使用学习得到的判别器作为奖励函数，提升对人工设计指标的灵活性。
• 采用两阶段训练流程：首先在当前生成器生成的样本与真实样本上训练判别器，然后使用来自协作分布 $ q_t $ 的样本更新生成器。

实验结果

研究问题

• RQ1 在离散GAN中，生成器与判别器之间的协作训练机制是否能确保理论收敛与稳定性，即使在非平稳奖励下？
• RQ2 如何有效利用判别器不仅作为奖励信号，还作为解码过程中的引导，以提升样本质量？
• RQ3 基于 $ p_{t-1} D_t $ 的混合采样策略是否能优于标准强化学习或最大似然（MLE）训练方法？
• RQ4 与先前基于GAN的NLG方法相比，该方法在多大程度上降低了训练方差并避免了灾难性遗忘？
• RQ5 能否通过协作框架将连续GAN的理论收敛性保证扩展至离散序列生成任务？

主要发现

• 所提出的GCN框架在抽象摘要生成与问题生成任务中均达到最先进性能，优于标准MLE与先前GAN-based方法。
• 理论分析表明，在较弱假设下，生成器分布可收敛至真实数据分布，将连续GAN的收敛性保证扩展至离散设置。
• 协作式解码策略通过利用判别器引导采样，显著提升了样本质量与训练稳定性，优于标准强化学习微调方法。
• 即使未使用复杂的方差减少技术，该方法在稳定性和性能上仍优于MaliGAN（Che et al., 2017）。
• 实验结果证实，采样分布 $ q_t \propto p_{t-1} D_t $ 比独立负采样或纯MLE更有效，尤其在长尾分布下表现更优。
• 该方法对模型漂移具有鲁棒性，且不会发生灾难性遗忘，因为前一时刻的生成器分布被保留在采样目标中。