[论文解读] Communication-based Evaluation for Natural Language Generation

Benjamin Newman, Reuben Cohn-Gordon+1 more|arXiv (Cornell University)|Sep 16, 2019

Topic Modeling参考文献 33被引用 5

一句话总结

本文提出一种基于通信的自然语言生成（NLG）评估方法，利用理性言语行为模型（Rational Speech Acts）评估生成话语向听者有效传达预期信息的能力。在颜色参考游戏数据集上的评估显示，该方法在与人类质量判断的一致性上优于传统的n-gram重叠度量（BLEU、ROUGE、METEOR、CIDER），表明基于语用和任务的评估比表面的词元匹配更能反映NLG的真实有效性。

ABSTRACT

Natural language generation (NLG) systems are commonly evaluated using n-gram overlap measures (e.g. BLEU, ROUGE). These measures do not directly capture semantics or speaker intentions, and so they often turn out to be misaligned with our true goals for NLG. In this work, we argue instead for communication-based evaluations: assuming the purpose of an NLG system is to convey information to a reader/listener, we can directly evaluate its effectiveness at this task using the Rational Speech Acts model of pragmatic language use. We illustrate with a color reference dataset that contains descriptions in pre-defined quality categories, showing that our method better aligns with these quality categories than do any of the prominent n-gram overlap methods.

研究动机与目标

• 解决标准n-gram重叠度量（如BLEU、ROUGE）与人类对NLG质量判断之间的不一致问题。
• 开发一种基于语用语言使用的评估框架，其目标是有效沟通而非词汇相似性。
• 评估基于模型的、考虑听者的推理方法是否能比传统自动度量更准确地预测人类质量判断。
• 在受控的任务型设置中测试该方法——具体为颜色参考游戏，其中话语质量由沟通成功与否定义。
• 证明基于通信的评估与人类标注的质量类别相关性高于n-gram重叠度量。

提出的方法

• 使用理性言语行为（RSA）模型模拟听者如何从话语中推断说话者的意图，建模语用推理过程。
• 训练一个听者模型，基于先验知识和话语解释，计算给定话语在三色情境中指向目标颜色的概率。
• 通过测量听者在听到每个话语后对目标颜色的后验信念，将此作为沟通成功性的代理指标，来评估NLG输出。
• 将该听者模型应用于包含三种质量类别的真人标注数据集：描述性、模糊性和误导性。
• 使用与人类质量判断的皮尔逊相关性分析，将RSA得分与标准n-gram度量（BLEU、ROUGE、METEOR、CIDER）进行比较。
• 使用人类标注的质量类别作为真实标签，验证基于通信的评估方法的有效性。

实验结果

研究问题

• RQ1 基于理性言语行为模型的通信式评估是否比n-gram重叠度量与人类质量判断的相关性更强？
• RQ2 能否通过模拟语用推理的基于模型的听者，在特定任务中有效区分高质量与低质量的NLG输出？
• RQ3 在存在多种可接受话语的场景下，传统度量如BLEU和ROUGE与人类标注的质量类别对齐程度如何？
• RQ4 在表面词汇匹配之外，引入听者信念形成机制在多大程度上能提升NLG系统的评估效果？
• RQ5 任务型、语用性评估框架在多大程度上能减少对昂贵人工标注的依赖，同时保持与人类质量直觉的一致性？

主要发现

• 基于通信的评估方法（采用理性言语行为模型）与人类标注的质量类别之间的相关性显著高于所测试的任何n-gram重叠度量。
• 在n-gram度量中，ROUGE与人类判断的相关性最强，但仍弱于基于RSA的方法。
• BLEU、METEOR和CIDER与人类质量评分的相关性较弱至中等，尤其在区分描述性话语与模糊话语方面表现不佳。
• 基于RSA的方法成功为描述性话语分配更高分，为误导性话语分配更低分，与人类质量判断高度一致。
• 结果表明，语用推理模型可作为人类标注的有效、可扩展的替代方案，用于NLG评估。
• 本研究证明，基于沟通成功性（即听者是否正确推断出说话者意图）的NLG评估，比词汇重叠度量更能提供可靠且有意义的评估结果。