[论文解读] Jointly Measuring Diversity and Quality in Text Generation Models

Ehsan Montahaei, Danial Alihosseini+1 more|arXiv (Cornell University)|Apr 8, 2019

Topic Modeling参考文献 19被引用 11

一句话总结

本文提出了一套统一框架，通过引入基于n-gram的MS-Jaccard和基于特征的FBD（使用BERT）指标，以及用于oracle设置的分布散度，联合评估文本生成模型的质量与多样性。主要贡献在于提出了一组与人类判断及不同温度变化下的模型行为高度相关的指标，其表现优于BLEU或Self-BLEU等孤立指标。

ABSTRACT

Text generation is an important Natural Language Processing task with various applications. Although several metrics have already been introduced to evaluate the text generation methods, each of them has its own shortcomings. The most widely used metrics such as BLEU only consider the quality of generated sentences and neglect their diversity. For example, repeatedly generation of only one high quality sentence would result in a high BLEU score. On the other hand, the more recent metric introduced to evaluate the diversity of generated texts known as Self-BLEU ignores the quality of generated texts. In this paper, we propose metrics to evaluate both the quality and diversity simultaneously by approximating the distance of the learned generative model and the real data distribution. For this purpose, we first introduce a metric that approximates this distance using n-gram based measures. Then, a feature-based measure which is based on a recent highly deep model trained on a large text corpus called BERT is introduced. Finally, for oracle training mode in which the generator's density can also be calculated, we propose to use the distance measures between the corresponding explicit distributions. Eventually, the most popular and recent text generation models are evaluated using both the existing and the proposed metrics and the preferences of the proposed metrics are determined.

研究动机与目标

• 为解决现有指标仅单独评估质量（如BLEU）或多样性（如Self-BLEU）的局限性，忽略两者之间的权衡。
• 开发一种对称的联合评估指标，对生成低质量或低多样性输出（包括模式崩溃生成）的模型进行惩罚。
• 提出一种基于BERT的特征空间度量（FBD），受图像生成中Fréchet Inception Distance（FID）的启发，适用于自然语言任务。
• 为已知真实数据分布的oracle训练设置提供一种系统化的评估方法，使用Bhattacharyya距离等分布散度进行直接比较。
• 在真实世界和合成数据集上验证所提指标，展示其与温度变化下模型的定性行为的一致性。

提出的方法

• 提出MS-Jaccard，一种对称的基于n-gram的指标，通过计算生成句与参考句集合之间的Jaccard相似度，同时捕捉质量与覆盖度。
• 引入FBD（特征距离），通过BERT嵌入作为特征提取器，计算真实文本与生成文本在特征分布之间的Fréchet距离。
• 在oracle设置中，提出使用学习到的模型分布与真实数据分布（oracle）之间的Bhattacharyya距离，实现分布间的直接比较。
• 在推理过程中采用温度缩放，生成覆盖整个温度范围的多样化输出，从而分析模型在质量-多样性空间中的行为。
• 使用NLL（负对数似然）和熵分别作为基线的质量和多样性度量，用于对比分析。
• 对不同温度下模型性能进行多项式拟合，以可视化和比较质量-多样性权衡。

实验结果

研究问题

• RQ1 是否存在单一指标能够有效捕捉文本生成模型的质量与多样性，而无需依赖BLEU或Self-BLEU等孤立指标？
• RQ2 所提出的指标（MS-Jaccard与FBD）在不同推理温度下，与模型实际的质量-多样性行为相关性如何？
• RQ3 所提指标在多大程度上与人类评估结果及质量-多样性空间中模型的支配排序一致？
• RQ4 基于BERT的特征表示能否为文本生成提供一种稳健且可迁移的评估指标，类似于图像生成中的FID？
• RQ5 在真实数据分布已知的oracle设置中，分布散度（如Bhattacharyya距离）的表现如何？

主要发现

• MS-Jaccard4在COCO、EMNLP2017和IMDB数据集上均保持了模型的稳定排序，与完整温度谱分析中观察到的支配关系一致（如MLE > MaliGAN > RankGAN > SeqGAN）。
• FBD得分与不同温度设置下的质量-多样性行为高度相关，尤其在EMNLP2017和IMDB数据集中表现显著。
• 所提指标（1−MS-Jaccard4与FBD）在真实世界数据集上与彼此以及与NLL之间均表现出高度皮尔逊相关性（r > 0.8），表明其具有强一致性。
• 在Oracle数据集中，模型分布与oracle分布之间的Bhattacharyya距离能正确对模型性能进行排序，证实其在闭式设置中的有效性。
• 这些指标成功识别出模式崩溃：多样性低的模型（如SeqGAN）在BLEU上得分高，但在MS-Jaccard和FBD上得分低，反映出其无法生成多样化输出。
• 温度缩放的使用表明，所提指标可在无需在每个温度下进行完全评估的情况下，预测模型在整个质量-多样性谱上的行为。