[论文解读] Creative GANs for generating poems, lyrics, and metaphors

Asir Saeed, Suzana Ilić+1 more|arXiv (Cornell University)|Sep 20, 2019

Topic Modeling参考文献 25被引用 11

一句话总结

本文提出 Creative-GAN，一种生成对抗网络框架，通过使用判别器进行对抗训练，以替代最大似然估计（MLE），从而提升诗歌、歌词和隐喻等创造性文本生成的原创性与多样性。该模型在三个不同创造性文本数据集上的困惑度和定性多样性方面，均优于基于 MLE 的基线模型以及 GumbelGAN。

ABSTRACT

Generative models for text have substantially contributed to tasks like machine translation and language modeling, using maximum likelihood optimization (MLE). However, for creative text generation, where multiple outputs are possible and originality and uniqueness are encouraged, MLE falls short. Methods optimized for MLE lead to outputs that can be generic, repetitive and incoherent. In this work, we use a Generative Adversarial Network framework to alleviate this problem. We evaluate our framework on poetry, lyrics and metaphor datasets, each with widely different characteristics, and report better performance of our objective function over other generative models.

研究动机与目标

• 为解决最大似然估计（MLE）在创造性文本生成中的局限性，其常导致通用、重复且不连贯的输出。
• 提升诗歌、歌词和隐喻等任务中生成文本的多样性与原创性，此类任务允许多个有效输出。
• 评估在缺乏严格真实标签对齐的情况下，使用判别器的对抗训练是否能有效引导生成模型产出更高质量、更具创造力的输出。
• 从自动指标和定性表现两方面，将所提出的 Creative-GAN 框架与基于 MLE 的语言模型及 GumbelGAN 进行比较。

提出的方法

• 生成器是基于 Gutenberg 数据集预训练的 AWD-LSTM 或 TransformerXL 语言模型，经 MLE 微调后适配至目标创造性文本数据集。
• 判别器是一个二分类器，其编码器架构与生成器相同，并额外增加一个池化解码头，通过最大池化和平均池化隐藏状态的组合，输出 [0,1] 区间内的样本真实性分数。
• 对抗训练交替进行：判别器更新 3 步，生成器更新 1 步，由于生成器输出的不可微性，采用策略梯度方法反向传播。
• 生成器通过判别器提供的奖励信号进行训练，该信号反馈促使模型生成更具创意且重复性更低的序列。
• 采样过程基于完整的多项式分布，而非使用 argmax，以提升输出质量和多样性。
• 超参数与模型配置在验证集上进行调优，训练与推理代码已公开。

实验结果

研究问题

• RQ1 与基于 MLE 的模型相比，使用判别器的对抗训练是否能有效提升生成创造性文本的原创性与多样性？
• RQ2 Creative-GAN 在诗歌、隐喻和歌词等具有不同语言特征的多样化创造性文本领域中表现如何？
• RQ3 与 GumbelGAN 或标准 MLE 基线相比，基于判别器的奖励信号是否能在自动指标和定性输出方面带来更好的性能？
• RQ4 在缺乏真实标签参考的情况下，判别器在多大程度上能引导生成器产出非重复、连贯且风格恰当的创造性文本？

主要发现

• 在所有三个数据集（诗歌、隐喻、歌词）上，Creative-GAN 的测试集困惑度均低于基于 MLE 的基线模型和 GumbelGAN。
• 判别器的反馈成功促使生成器产出更具多样性且重复性更低的输出，有效缓解了 MLE 训练模型中常见的单调问题。
• 人工评估趋势显示输出质量有所提升，尽管主文中未报告具体的人工评估分数。
• 该模型在语言复杂度与结构各异的数据集上均表现出一致的性能提升，表明其对领域差异具有鲁棒性。
• 使用策略梯度与 Gumbel-Softmax 重参数化方法，实现了对离散文本标记的有效反向传播，从而支持生成器的端到端训练。
• 该框架表明，来自判别器的外部反馈在微调无目标解码任务（如创造性文本生成）中具有显著有效性。