[论文解读] Long Text Generation via Adversarial Training with Leaked Information

Jiaxian Guo, Sidi Lu+4 more|arXiv (Cornell University)|Sep 24, 2017

Topic Modeling参考文献 28被引用 161

一句话总结

LeakGAN 引入了一个分层生成器，利用泄漏的判别器特征来引导长文本生成，在合成数据和真实数据的 BLEU 分数以及人类评估方面都得到提升。

ABSTRACT

Automatically generating coherent and semantically meaningful text has many applications in machine translation, dialogue systems, image captioning, etc. Recently, by combining with policy gradient, Generative Adversarial Nets (GAN) that use a discriminative model to guide the training of the generative model as a reinforcement learning policy has shown promising results in text generation. However, the scalar guiding signal is only available after the entire text has been generated and lacks intermediate information about text structure during the generative process. As such, it limits its success when the length of the generated text samples is long (more than 20 words). In this paper, we propose a new framework, called LeakGAN, to address the problem for long text generation. We allow the discriminative net to leak its own high-level extracted features to the generative net to further help the guidance. The generator incorporates such informative signals into all generation steps through an additional Manager module, which takes the extracted features of current generated words and outputs a latent vector to guide the Worker module for next-word generation. Our extensive experiments on synthetic data and various real-world tasks with Turing test demonstrate that LeakGAN is highly effective in long text generation and also improves the performance in short text generation scenarios. More importantly, without any supervision, LeakGAN would be able to implicitly learn sentence structures only through the interaction between Manager and Worker.

研究动机与目标

• 通过在生成过程中提供信息丰富的、逐步的指导，解决在 GAN 下长文本生成的难题。
• 利用判别器内部特征作为泄漏信息来指导生成器。
• 引入分层生成器（MANAGER 和 WORKER）以有效利用泄漏的特征。
• 展示在合成数据和现实世界语料上的改进，并在无监督的情况下分析所学的句子结构。

提出的方法

• 判别器 Dφ 通过其基于 CNN 的特征提取器提供高级特征 f。
• 具有 MANAGER（LSTM）和 WORKER（LSTM）的分层生成器 Gθ 使用泄漏的特征 ft 产生目标 gt 和目标嵌入 wt。
• WORKER 使用当前词 xt 和目标嵌入来通过对 logits Ot · wt / α 的 softmax 生成下一个词。
• 训练阶段使用 REINFORCE 来优化 WORKER；MANAGER 的训练目标是在判别器特征空间中预测有利方向（与 ft+c − ft 的余弦相似度）。
• 预训练包括对 MANAGER 和 WORKER 的监督阶段，随后在 G 和 D 之间进行交替对抗训练；其他技术包括自举重缩放激活、交错训练和温度控制。

实验结果

研究问题

• RQ1 泄漏的高级判别器特征是否可以在 GAN 场景下改进对长文本生成的指导？
• RQ2 分层（manager-worker）生成器是否能更好地利用泄漏信息来生成连贯的长文本？
• RQ3 LeakGAN 在合成数据和多样化的现实语料库（长文本、适中长度、短文本）上的表现如何？
• RQ4 从 manager-worker 交互中可以获得对学习到的句子结构的哪些洞见？

主要发现

• LeakGAN 在合成数据的较长序列上达到低于基线的负对数似然。
• LeakGAN 在 EMNLP2017 WMT News 上的 BLEU 分数（BLEU-2 到 BLEU-5，p<1e-6）高于 SeqGAN 和 RankGAN。
• LeakGAN 在 COCO 图像字幕上优于基线（BLEU-2 到 BLEU-4，p<1e-6）。
• LeakGAN 在中国诗歌上提高了 BLEU 指标（BLEU-2，p<1e-6）。
• 图灵测试显示 LeakGAN 生成的文本在更大程度上与真实文本难以区分，优于基线（p<1e-6）。
• 可视化分析表明泄漏的特征引导生成器进入真实数据特征区域，并揭示在无监督情况下学习到的结构线索。