[论文解读] On Accurate Evaluation of GANs for Language Generation

Stanislau Semeniuta, Aliaksei Severyn+1 more|arXiv (Cornell University)|Jun 13, 2018

Topic Modeling参考文献 31被引用 77

一句话总结

本文认为基于 BLEU 的评估对于文本生成对抗网络（text GANs）而言不足以充分评估，提出了替代度量（特别是使用 InferSent 嵌入的 Frechet 距离和反向语言模型分数），并且在适当调优和公平评估时，传统语言模型通常优于 GAN。

ABSTRACT

Generative Adversarial Networks (GANs) are a promising approach to language generation. The latest works introducing novel GAN models for language generation use n-gram based metrics for evaluation and only report single scores of the best run. In this paper, we argue that this often misrepresents the true picture and does not tell the full story, as GAN models can be extremely sensitive to the random initialization and small deviations from the best hyperparameter choice. In particular, we demonstrate that the previously used BLEU score is not sensitive to semantic deterioration of generated texts and propose alternative metrics that better capture the quality and diversity of the generated samples. We also conduct a set of experiments comparing a number of GAN models for text with a conventional Language Model (LM) and find that neither of the considered models performs convincingly better than the LM.

研究动机与目标

• 评估基于 n-gram 的评估（如 BLEU）在使用 GAN 进行无监督文本生成中的局限性。
• 提出并验证能够捕捉生成文本质量和多样性的度量（FD、reverse LM score）。
• 展示超参数敏感性和随机初始化对 GAN 性能的影响。
• 在公平的评估协议下，将多种 GAN 架构与传统语言模型进行比较。

提出的方法

• 对文本 GAN 的评估指标 BLEU 和 self-BLEU 进行评审和批判。
• 将 Frechet Inception Distance (FID) 适应到文本，使用 InferSent 嵌入（FD）。
• 使用 reverse Language Model score 来衡量生成样本覆盖真实数据分布的程度。
• 系统性、多次运行的超参数调优（随机搜索，100 次试验）并重新训练以量化稳定性（基于种子的均值和标准差）。
• 在固定生成器架构（LSTM）的条件下，对 SNLI 和 MultiNLI 在多种 GAN 变体（连续和离散）上进行评估。
• 在所提出的协议下，将 GAN 变体（SeqGAN、LeakGAN 等）与语言模型基线进行比较。

实验结果

研究问题

• RQ1 BLEU 和 self-BLEU 是否足以反映 GAN 生成文本的质量和多样性？
• RQ2 FD 和 reverse LM score 能否更好地捕捉真实文本与生成文本之间的语义质量和分布相似性？
• RQ3 与传统语言模型相比，基于 GAN 的文本生成器对超参数和随机种子的敏感性如何？
• RQ4 在公平、多指标评估协议下，GAN 是否对标准语言模型有明确的优势？

主要发现

• 基于 BLEU 的度量可能会错误表示文本质量并忽略语义退化。
• FD 和 reverse LM score 能稳定地检测 BLEU 未能发现的语义和分布差异。
• GAN 模型对初始化和超参数高度敏感，通常需要大量调优；然而，适当的调优很少能超过充分训练的语言模型。
• 在本研究中，离散 GAN 模型（带有预训练）通常优于连续模型，但没有一个能说服性地超过经过良好调优的语言模型。
• 生成器的预训练对于在各个 GAN 变体中获得合理结果至关重要；在 GAN 训练中延长训练时间并使用强学习率常常会降低性能。
• 在许多设置中，语言模型在多项指标上取得更好或可比的结果，凸显了多指标评估的必要性。