[论文解读] Judge the Judges: A Large-Scale Evaluation Study of Neural Language Models for Online Review Generation

Cristina Gârbacea, Samuel Carton+2 more|arXiv (Cornell University)|Jan 2, 2019

Topic Modeling参考文献 95被引用 5

一句话总结

本文对神经语言模型在在线产品评论生成中的生成质量进行了大规模评估，比较了人类、判别式和基于词汇重叠的评估方法。研究发现，人类判断与对抗性判别器的相关性较差，但与词汇多样性和重叠度指标更为一致，表明多样性和表面相似性是感知质量的更好预测指标，而非对抗性准确率。

ABSTRACT

We conduct a large-scale, systematic study to evaluate the existing evaluation methods for natural language generation in the context of generating online product reviews. We compare human-based evaluators with a variety of automated evaluation procedures, including discriminative evaluators that measure how well machine-generated text can be distinguished from human-written text, as well as word overlap metrics that assess how similar the generated text compares to human-written references. We determine to what extent these different evaluators agree on the ranking of a dozen of state-of-the-art generators for online product reviews. We find that human evaluators do not correlate well with discriminative evaluators, leaving a bigger question of whether adversarial accuracy is the correct objective for natural language generation. In general, distinguishing machine-generated text is challenging even for human evaluators, and human decisions correlate better with lexical overlaps. We find lexical diversity an intriguing metric that is indicative of the assessments of different evaluators. A post-experiment survey of participants provides insights into how to evaluate and improve the quality of natural language generation systems.

研究动机与目标

• 系统评估不同评估方法在在线评论生成中的神经语言生成一致性与可靠性。
• 探究自动化对抗性评估器是否与人类对文本质量的判断相关。
• 评估词汇多样性与词汇重叠度指标在预测人类与机器评估偏好中的作用。
• 识别导致人类与自动化评估结果差异的因素。
• 基于评估者行为与偏好的洞察，为改进NLG系统开发提供建议。

提出的方法

• 针对12种最先进的NLG模型在在线评论生成中的质量，开展了包含两名独立人类评分员的大规模人工评估研究。
• 训练了判别式元判别器，利用真实与虚假评论数据，以区分人类撰写与机器生成的评论。
• 计算标准词汇重叠度指标（BLEU、ROUGE）以及Self-BLEU，以衡量生成评论的词汇相似性与多样性。
• 将词汇多样性定义为生成文本中唯一n-gram（一元组、二元组、三元组）数量与总词元数的比率。
• 通过计算生成评论与训练集评论之间的BLEU分数（G-train），衡量记忆化程度。
• 使用Kendall’s tau-b等级相关系数分析评估者排名与模型特征之间的相关性。

实验结果

研究问题

• RQ1 人类评估者在对生成的在线评论质量进行排名时，与自动化判别式评估器的一致性如何？
• RQ2 词汇重叠度指标（如BLEU）与人类对评论质量的判断相关性有多大？
• RQ3 生成评论的词汇多样性如何与人类及自动化评估者的排名相关？
• RQ4 训练数据的记忆化程度（通过G-train的BLEU分数衡量）是否影响生成模型在人类与自动化评估中的表现？
• RQ5 从人类调查反馈中可获得哪些见解，以改进未来NLG系统的设计与评估？

主要发现

• 人类评估者与判别式评估器的相关性较低（Kendall’s tau-b < 0.2），表明对抗性准确率并非人类质量感知的可靠代理指标。
• 人类判断与词汇多样性及词汇重叠度指标的相关性高于与对抗性判别器的相关性，表明表面语言特征更能预测感知质量。
• 词汇多样性更高的生成器（尤其是三元组多样性）更难被判别器识别为虚假，但人类评估者更准确地将其识别为机器生成，表明人类与机器检测策略之间存在脱节。
• Self-BLEU分数与人类评估者呈负相关，与判别式评估器呈正相关，证实判别器会惩罚多样性不足——这是当前模型已知的局限性。
• GAN-based模型与训练集（G-train）的n-gram重叠度较低，表明记忆化程度较低，且更难被判别器检测到，但其人类评分并未因此更高。
• 实验后调查结果表明，人类评估者更重视流畅性与自然性，而非结构复杂性，且受词汇丰富度的影响大于句法多样性。