[论文解读] GO FIGURE: A Meta Evaluation of Factuality in Summarization

Saadia Gabriel, Aslı Çelikyılmaz+3 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 45被引用 20

一句话总结

本文提出 GO FIGURE，一种元评估框架，通过边界性、敏感性、鲁棒性、通用性和与人类判断的相关性等诊断标准，系统评估文本摘要中的事实性度量。研究发现，标准度量如 ROUGE-L 无法有效检测事实性不一致，而基于问答（QA）的度量仅在问题源自源文档而非摘要时表现更优。

ABSTRACT

While neural language models can generate text with remarkable fluency and coherence, controlling for factual correctness in generation remains an open research question. This major discrepancy between the surface-level fluency and the content-level correctness of neural generation has motivated a new line of research that seeks automatic metrics for evaluating the factuality of machine text. In this paper, we introduce GO FIGURE, a meta-evaluation framework for evaluating factuality evaluation metrics. We propose five necessary and intuitive conditions to evaluate factuality metrics on diagnostic factuality data across three different summarization tasks. Our benchmark analysis on ten factuality metrics reveals that our meta-evaluation framework provides a robust and efficient evaluation that is extensible to multiple types of factual consistency and standard generation metrics, including QA metrics. It also reveals that while QA metrics generally improve over standard metrics that measure factuality across domains, performance is highly dependent on the way in which questions are generated.

研究动机与目标

• 为弥合流畅、连贯的神经文本生成与生成摘要中的事实性错误之间的日益扩大的差距。
• 开发一种系统化、可复用的框架，用于评估事实性度量的有效性，而无需进行大量模型微调。
• 识别现有度量方法（尤其是 ROUGE 和 BERTScore）在对话和新闻等多样化摘要任务中的缺陷。
• 评估基于问答（QA）度量在检测事实性不一致方面的有效性，并确定其对问题生成方式的依赖性。
• 提供一个带有受控事实错误的诊断基准，以实现对事实性度量的严格、可复现的评估。

提出的方法

• 提出五项评估条件——边界性、敏感性、鲁棒性、通用性和与人类判断的相关性——以评估事实性度量。
• 构建一个诊断数据集，包含参考摘要及其经过错误变换的变体（如实体替换、否定、指代关系更改），以模拟事实性不一致。
• 通过在每篇摘要中注入1–3处错误的受控实验，利用皮尔逊相关系数衡量度量对错误数量的敏感性。
• 在三个领域（极端摘要、多句新闻、对话摘要）中评估度量的通用性，以测试其跨领域适用性。
• 将事实性度量（如 ROUGE、BERTScore、FEQA、BLANC、基于QA的度量）与人工标注的事实一致性分数进行对比。
• 使用 SQuAD 基准的 QA 系统从源文档和摘要中生成问题，检验源自源文档的问题是否能带来更鲁棒的事实性检测效果。

实验结果

研究问题

• RQ1 标准摘要度量（如 ROUGE）在检测生成摘要中的事实性不一致方面表现如何？
• RQ2 基于问答（QA）的度量在多大程度上提升了事实性评估效果？问题来源（源文档 vs. 摘要）如何影响性能？
• RQ3 元评估框架能否识别出在多样化摘要领域中事实性度量的偏差与局限？
• RQ4 事实性度量与人类对事实一致性的判断有多高的相关性？其性能上限是什么？
• RQ5 哪些错误类型（如实体替换、否定）最难以被当前度量检测？

主要发现

• ROUGE-1 和 ROUGE-L 无法有效检测事实性不一致，其中 ROUGE-L 因上下文无关性而表现出差的敏感性——例如，无法区分 'increased'（增加）与 'decreased'（减少）。
• 当问题源自源文档时，基于问答（QA）的度量优于标准度量；但当问题基于摘要生成时，性能显著下降。
• FEQA 和 BERTScore 等度量在受控数据上随事实性不一致程度增加而数值下降，但在真实生成数据上却可能 paradoxically 上升，表明其存在不稳定性。
• 人工标注数据仍是元评估的性能上限，因为自动化度量常与人类判断不相关。
• GO FIGURE 框架可在无需微调摘要模型的前提下，实现稳健、高效且可扩展的事实性度量评估。
• 该框架揭示，跨错误类型和领域的一致性与鲁棒性是现有事实性度量中常被忽视但至关重要的标准。