[论文解读] Evaluating Groundedness in Dialogue Systems: The BEGIN Benchmark

Nouha Dziri, Hannah Rashkin+2 more|arXiv (Cornell University)|Apr 30, 2021

Topic Modeling参考文献 27被引用 15

一句话总结

本文提出了 BEGIN 基准，这是一个包含 8,113 个由人类标注的对话轮次的数据集，用于评估知识增强型对话系统中响应的 groundedness。该研究利用对抗性生成数据评估自动指标，通过扩展的自然语言蕴含框架，展示了模型输出与背景信息之间对齐的改进。

ABSTRACT

Knowledge-grounded dialogue agents are systems designed to conduct a conversation based on externally provided background information, such as a Wikipedia page. Such dialogue agents, especially those based on neural network language models, often produce responses that sound fluent but are not justified by the background information. Progress towards addressing this problem requires developing automatic evaluation metrics that can quantify the extent to which responses are grounded in background information. To facilitate evaluation of such metrics, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN). BEGIN consists of 8113 dialogue turns generated by language-model-based dialogue systems, accompanied by humans annotations specifying the relationship between the system's response and the background information. These annotations are based on an extension of the natural language inference paradigm. We use the benchmark to demonstrate the effectiveness of adversarially generated data for improving an evaluation metric based on existing natural language inference datasets.

研究动机与目标

• 为解决依赖外部知识的神经对话系统中出现的幻觉或无依据响应问题。
• 开发一个标准化基准，用于评估衡量响应生成中 groundedness 的自动指标。
• 通过整合源自自然语言蕴含数据集的对抗性生成数据，改进现有评估指标。
• 提供一个人工标注的数据集，以捕捉系统响应与支持性背景信息之间的关系。

提出的方法

• BEGIN 基准基于基于语言模型的对话系统生成的 8,113 个对话轮次构建，每个轮次均配有背景信息，如维基百科摘录。
• 人工标注者使用扩展的自然语言蕴含框架对每个响应与背景之间的关系进行标注，包括蕴含、矛盾和中性关系。
• 该基准利用对抗性生成数据，以测试并提升 groundedness 评估指标的鲁棒性。
• 利用标注数据对评估指标进行优化，重点区分 grounded 与 ungrounded 响应。
• 该框架将标准自然语言蕴含扩展，以捕捉知识增强型对话情境中的细微关系。
• 该数据集旨在支持在多样化对话场景下对自动指标进行系统性评估。

实验结果

研究问题

• RQ1 自动评估指标在知识增强型对话系统中检测无依据响应的能力如何？
• RQ2 对抗性数据生成在多大程度上提升了 groundedness 评估指标的性能？
• RQ3 人工标注在捕捉对话响应 groundedness 方面的可靠性和一致性如何？
• RQ4 BEGIN 基准能否作为评估对话系统中 groundedness 的可靠标准？
• RQ5 现有自然语言蕴含数据集在应用于 grounded 对话评估时存在哪些局限性？

主要发现

• BEGIN 基准通过基于扩展自然语言蕴含方案的人工标注标签，成功捕捉了多样化的响应-grounded 关系。
• 对抗性生成数据显著提升了评估指标检测无依据响应的能力。
• 在标准 NLI 数据集上训练的现有指标在 grounded 对话任务上表现有限，凸显了专用基准的必要性。
• 人工标注数据揭示了模型生成响应中的系统性失败，尤其体现在生成矛盾或无关内容方面。
• 与先前方法相比，该基准能够实现更可靠、更细致的 groundedness 评估。
• 结果表明，将对抗性样本纳入指标训练可增强其对 groundedness 违规的敏感性。