[论文解读] QuestEval: Summarization Asks for Fact-based Evaluation

Thomas Scialom, Paul-Alexis Dray+5 more|arXiv (Cornell University)|Mar 23, 2021

Topic Modeling参考文献 35被引用 25

一句话总结

QuestEval 是一个无参考摘要评估指标，通过一个 QA 模型和一个带权问题生成器统一基于 QA 的精确度和召回信号，在不需要黄金参考的情况下，与人工判断的相关性更高。

ABSTRACT

Summarization evaluation remains an open research problem: current metrics such as ROUGE are known to be limited and to correlate poorly with human judgments. To alleviate this issue, recent work has proposed evaluation metrics which rely on question answering models to assess whether a summary contains all the relevant information in its source document. Though promising, the proposed approaches have so far failed to correlate better than ROUGE with human judgments. In this paper, we extend previous approaches and propose a unified framework, named QuestEval. In contrast to established metrics such as ROUGE or BERTScore, QuestEval does not require any ground-truth reference. Nonetheless, QuestEval substantially improves the correlation with human judgments over four evaluation dimensions (consistency, coherence, fluency, and relevance), as shown in the extensive experiments we report.

研究动机与目标

• 解决基于 n-gram 的 ROUGE 等摘要评估指标的局限性。
• 开发一个无需地面真值的度量，在多维度上与人工判断具有更好的相关性。
• 将基于精确度的 QA 评估与基于召回的 QA 评估统一，并引入学习得到的问题权重以捕捉显著性。
• 在 CNN/Daily Mail 和 XSUM 数据集上展示与人工判断的强相关性，包括事实一致性。
• 提供一个可解释的评估框架，不需要参考摘要。

提出的方法

• 提出 QuestEval：一个统一的基于 QA 的框架，结合源文本的精确度（QG/QA with source）和带权源文本的召回信号（QG/QA with source）。
• 使用一个基于 T5 的预训练 QA 模型来回答来自源文本和摘要生成的问题，包含一个不可回答的标记 ε。
• 从源文本或摘要条件化地生成问题，使用一个基于 T5 的 QG 模型，保留仅当 QA 模型正确回答的问题。
• 引入一个学习得到的问题权重 W，以优先考虑召回中的显著问题，该权重依据摘要是否包含答案进行训练。
• 将精确度定义为 QA 在源文本上的预测答案与真实答案之间的 F1 重叠，召回通过一个带权的、可回答性感知的度量来计算。
• 通过它们的调和平均（F1）统一精确度和召回，以在不需要引用的情况下产生 QuestEval 分数。

实验结果

研究问题

• RQ1 一个无参考的基于 QA 的评估是否能比有参考的指标更好地捕捉摘要中的事实一致性和信息显著性？
• RQ2 将精确度与召回的 QA 信号统一并引入学习得到的问题权重，是否能提高在一致性、连贯性、流畅性和相关性等维度上的与人工判断的一致性？
• RQ3 与 ROUGE、BLEU、METEOR、BERTScore 以及现有基于 QA 的评估指标相比，QuestEval 在 CNN/Daily Mail 与 XSUM 这两大摘要数据集上的表现如何？
• RQ4 在变化的参考数量下，QuestEval 是否对参考结果不敏感，且在没有黄金参考时也能对系统进行评估？

主要发现

指标	一致性	连贯性	流畅性	相关性	平均值
ROUGE-1 (11 refs)	18.1	20.1	14.9	35.6	22.2
ROUGE-L (11 refs)	15.7	15.6	13.8	33.4	19.6
METEOR (11 refs)	3.3	2.9	7.1	-	3.2
BLEU (11 refs)	17.5	22.0	13.7	35.6	22.2
BERTScore-f (11 refs)	20.3	18.5	21.6	31.9	23.1
SummaQA (QA recall baseline)	8.3	8.0	-2.9	26.2	9.9
QAGS (QA precision baseline)	20.4	7.7	16.8	9.1	13.7
QuestEval W=uniform)	43.7	22.9	28.2	37.5	33.1
w/o QA neg sampl.	42.5	22.5	27.7	37.2	32.4
QuestEval W=learned)	42.0	24.0	28.4	39.2	33.5
Precision Only	46.5	14.0	30.9	22.2	28.4
Recall Only	30.5	22.6	19.2	37.6	27.5

• 与作为基线的指标相比，QuestEval 在一致性、连贯性、流畅性和相关性方面显著提高了与人工判断的相关性。
• 统一的精确度-召回方法结合学习到的问题权重在平均相关性上高于 SummaQA 与 QAGS；学习权重提升了相关性。
• QuestEval 仍然是无参考的，即使只有单一参考可用时仍保持强劲表现，在参考稀缺时也优于基于参考的指标。
• 将负样本引入 QA 训练可提升性能，特别是在检测不可回答的问题和减少幻觉方面。
• 该框架通过展示哪些问题重要且被回答，提供可解释性，突出摘要中的事实空缺和不一致。