Skip to main content
QUICK REVIEW

[论文解读] Measuring Attribution in Natural Language Generation Models

Hannah Rashkin, V. A. Nikolaev|arXiv (Cornell University)|Dec 23, 2021
Topic ModelingComputer Science被引用 34
一句话总结

AIS 引入一个正式框架,用于评估 NLG 输出是否归因于已识别的外部来源,通过在多任务上验证的两阶段人工注释流程。

ABSTRACT

With recent improvements in natural language generation (NLG) models for various applications, it has become imperative to have the means to identify and evaluate whether NLG output is only sharing verifiable information about the external world. In this work, we present a new evaluation framework entitled Attributable to Identified Sources (AIS) for assessing the output of natural language generation models, when such output pertains to the external world. We first define AIS and introduce a two-stage annotation pipeline for allowing annotators to appropriately evaluate model output according to AIS guidelines. We empirically validate this approach on generation datasets spanning three tasks (two conversational QA datasets, a summarization dataset, and a table-to-text dataset) via human evaluation studies that suggest that AIS could serve as a common framework for measuring whether model-generated statements are supported by underlying sources. We release guidelines for the human evaluation studies.

研究动机与目标

  • 定义 Attributable to Identified Sources (AIS) 并形式化系统输出归因于某一来源的含义。
  • 提供一个两阶段注释流程,以评估 NLG 输出的可解释性和对来源的归因。
  • 通过跨越多个人工任务的评估,演示 AIS 的可行性。
  • 提供在现实环境中对 AIS 进行注释的指南并讨论实际考量。

提出的方法

  • 使用 explicatures 来把握语境中话语的含义,形式化 AIS。
  • 定义独立命题以及‘according to P’ 的归因测试。
  • 通过 explicatures 和语言上下文定义,将 AIS 扩展到多句话的话语及其上下文。
  • 提出针对对话式 QA、摘要和表格到文本生成的 AIS 的任务特定实现。
  • 设计一个两阶段人工注释过程:首先评估可解释性(不涉及来源),然后对来源 P 进行归因。
  • 报告跨注释者的一致性以及在不同模型和任务中的 AIS 评分差异。

实验结果

研究问题

  • RQ1AIS 是否能够提供一个一致、可解释的衡量标准,判断模型输出是否以识别的来源为基础?
  • RQ2在人类 AIS 注释方面,在对话式 QA、摘要和表格到文本任务中的可行性有多高?
  • RQ3输出的可解释性与对给定来源的归因性之间的关系是什么?
  • RQ4在应用 AIS 时,跨任务和模型输出的注释者一致性如何变化?
  • RQ5哪些指南和操作性考量有助于实现可重复的 AIS 注释?

主要发现

  • AIS 能够提供一个可重现的框架,用于评估 NLG 输出中的陈述是否可从潜在来源推导出。
  • 两阶段注释过程在他们的人类研究中产生了中等到高的一致性。
  • AIS 能在不同的 NLG 任务中,基于归因分数区分模型输出。
  • Explicatures 提供了一个在上下文中评估话语含义以进行归因的实用机制。
  • 该框架承认上下文、来源质量和可解释性在归因判断中的作用。
  • 发布了指南和讨论,以支持未来基于 AIS 的评估。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。