[论文解读] Adversarial Generation of Natural Language
本论文提出一种基于GAN的简单自然语言生成方法，该方法将判别器输入为连续输出分布，在CFG/PCFG任务和中文诗歌上取得了强结果，变体包括WGAN/WGAN-GP和条件生成。
Generative Adversarial Networks (GANs) have gathered a lot of attention from the computer vision community, yielding impressive results for image generation. Advances in the adversarial generation of natural language from noise however are not commensurate with the progress made in generating images, and still lag far behind likelihood based methods. In this paper, we take a step towards generating natural language with a GAN objective alone. We introduce a simple baseline that addresses the discrete output space problem without relying on gradient estimators and show that it is able to achieve state-of-the-art results on a Chinese poem generation dataset. We present quantitative results on generating sentences from context-free and probabilistic context-free grammars, and qualitative language modeling results. A conditional version is also described that can generate sequences conditioned on sentence characteristics.
研究动机与目标
- 在尽管存在离散输出挑战的情况下，激发对使用GAN进行真实语言生成的学习动机。
- 提出一个基线，使判别器在来自生成器的连续输出分布上工作，从而避免梯度估计。
- 在基于词汇和字符的模型的CFG/PCFG任务以及真实语言数据集上评估该方法。
- 探索循环和卷积架构以及一种学习课程策略，以生成更长的序列。
- 通过在生成器和判别器中加入情感和问句等属性条件，演示条件文本生成。
提出的方法
- 使用一个GAN框架，生成器产生词汇表上概率分布的序列。
- 判别器处理来自生成器的概率序列以及作为一热向量的真实数据，以区分真实与伪造。
- 为生成器和判别器采用递归（LSTM/peephole变体）或卷积架构中的任一。
- 采用Wasserstein GAN（WGAN）和WGAN-GP目标以提高训练稳定性和梯度质量。
- 采用 curriculum learning 逐步提高生成序列长度。
- 通过向生成器和判别器添加属性条件（情感、问句）来演示条件生成。
实验结果
研究问题
- RQ1当判别器看到连续的概率分布而非离散样本时，GAN是否能够有效生成自然语言？
- RQ2不同的GAN目标（GAN、LSGAN、WGAN、WGAN-GP）在语言生成中的比较如何？
- RQ3循环与卷积架构是否能够在GAN目标下生成 plausibly 的长序列？
- RQ4我们是否能够在高层属性如情感或疑问形式的条件下生成文本？
主要发现
- WGAN 和 WGAN-GP 目标为语言生成提供了强有力的训练信号和更好的梯度表现。
- 提出的连续判别器设置在 CFG/PCFG 任务和真实语言数据集上产生了真实感语言。
- 在多种评估设置中，WGAN-WGAN-GP 变体优于纯粹的似然基线（MLE）。
- 该方法在中文诗歌生成方面的表现相对或优于以往的基于GAN的方法。
- 条件生成成功地产生具有目标属性（如情感和问句形式）的句子。
- 带有梯度惩罚的 GAN 目标的卷积架构在较长序列上能有效维持上下文。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。