[论文解读] Evaluating Text GANs as Language Models

Guy Tevet, Gavriel Habib+2 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 32被引用 23

一句话总结

本文提出一种基于蒙特卡洛的方法，用于近似文本生成 GAN 的概率分布，从而可使用标准语言模型指标（如 BPC 和困惑度）进行评估。作者表明，基于 RNN 的文本 GAN 当前性能显著逊于最先进语言模型，其 BPC 分数远高于领先语言模型的水平。

ABSTRACT

Generative Adversarial Networks (GANs) are a promising approach for text generation that, unlike traditional language models (LM), does not suffer from the problem of ``exposure bias''. However, A major hurdle for understanding the potential of GANs for text generation is the lack of a clear evaluation metric. In this work, we propose to approximate the distribution of text generated by a GAN, which permits evaluating them with traditional probability-based LM metrics. We apply our approximation procedure on several GAN-based models and show that they currently perform substantially worse than state-of-the-art LMs. Our evaluation procedure promotes better understanding of the relation between GANs and LMs, and can accelerate progress in GAN-based text generation.

研究动机与目标

• 为解决文本 GAN 缺乏可靠评估指标的问题，这些模型无法直接使用基于概率的标准语言模型指标进行评估。
• 通过将 GAN 的输出分布近似为概率分布，弥合基于 GAN 的文本生成与传统语言建模之间的差距。
• 使用 BPC 和困惑度等标准指标，对基于 RNN 的文本 GAN 与最先进语言模型的性能进行实证比较。
• 提供一个实用且可复现的评估框架，以推动基于 GAN 的文本生成技术的发展。

提出的方法

• 通过在多次生成结果上进行蒙特卡洛采样，近似文本 GAN 生成器的期望输出分布。
• 利用采样序列中各标记的频率，估计每个时间步的概率分布。
• 基于连续近似结果之间差异的 L-infinity 范数设定收敛准则，以确定足够的采样规模。
• 设定阈值（γ′ = 10⁻³）和采样间隔（α = 10），在准确性和计算成本之间取得平衡。
• 使用标准语言模型指标（比特每字符 BPC 和困惑度）评估所得近似分布。
• 通过与输出显式概率分布的模型（如 SeqGAN）的真实 BPC 进行比较，验证近似精度。

实验结果

研究问题

• RQ1 能否通过蒙特卡洛采样对文本 GAN 的输出分布进行有意义的近似，从而实现使用标准语言模型指标进行评估？
• RQ2 当使用 BPC 和困惑度进行评估时，基于 RNN 的文本 GAN 性能与最先进语言模型相比如何？
• RQ3 GAN 中的对抗训练是否会导致生成文本质量下降，如通过 BPC 和定性样本分析所衡量？
• RQ4 达到稳定且准确的 GAN 输出分布近似所需的最少样本数量是多少？

主要发现

• 所提出的蒙特卡洛近似方法具有高精度，其近似 BPC 值仅略高于 SeqGAN 中的真实 BPC，验证了该方法的可靠性。
• 所有评估的基于 RNN 的文本 GAN（Press et al., 2017；Yu et al., 2017）的 BPC 分数均显著高于最先进语言模型，表明其性能明显更差。
• SeqGAN 中的预训练语言模型基线 BPC 为 1.95，对抗微调后下降至 2.06，表明对抗训练可能损害性能。
• 较长序列生成（100 个字符）导致 Recurrent GAN（Press et al., 2017）的 BPC 显著上升，表明在大规模生成时质量下降。
• 两种模型的定性样本均表现出低连贯性和重复性，尤其是在长序列中，与 BPC 的定量退化结果一致。
• 收敛性分析表明，每个时间步约需 2000 个样本才能实现稳定的近似。