[论文解读] Evaluating the Factual Consistency of Large Language Models Through News Summarization

Derek Tam, Anisha Mascarenhas+4 more|arXiv (Cornell University)|Nov 15, 2022

Topic Modeling被引用 16

一句话总结

本文提出了FIB（事实一致性基准），一种新的评估框架，通过评估大语言模型（LLMs）是否为事实一致的摘要分配更高分数而非不一致的摘要，来衡量其事实一致性。基于XSum和CNN/DM数据集中经人工验证的摘要，本研究评估了23个大语言模型（参数量1B–176B），发现尽管大多数模型更倾向于选择一致的摘要，但它们常常更偏好从源文本中直接复制的、字面不一致的摘要，揭示了大语言模型事实性方面的一个关键失败模式。

ABSTRACT

While large language models (LLMs) have proven to be effective on a large variety of tasks, they are also known to hallucinate information. To measure whether an LLM prefers factually consistent continuations of its input, we propose a new benchmark called FIB(Factual Inconsistency Benchmark) that focuses on the task of summarization. Specifically, our benchmark involves comparing the scores an LLM assigns to a factually consistent versus a factually inconsistent summary for an input news article. For factually consistent summaries, we use human-written reference summaries that we manually verify as factually consistent. To generate summaries that are factually inconsistent, we generate summaries from a suite of summarization models that we have manually annotated as factually inconsistent. A model's factual consistency is then measured according to its accuracy, i.e.\ the proportion of documents where it assigns a higher score to the factually consistent summary. To validate the usefulness of FIB, we evaluate 23 large language models ranging from 1B to 176B parameters from six different model families including BLOOM and OPT. We find that existing LLMs generally assign a higher score to factually consistent summaries than to factually inconsistent summaries. However, if the factually inconsistent summaries occur verbatim in the document, then LLMs assign a higher score to these factually inconsistent summaries than factually consistent summaries. We validate design choices in our benchmark including the scoring method and source of distractor summaries. Our code and benchmark data can be found at https://github.com/r-three/fib.

研究动机与目标

• 为解决大语言模型（LLMs）在文本生成过程中普遍存在事实幻觉的问题。
• 开发一种可靠的基准，用于衡量大语言模型的事实一致性，特别是在摘要生成任务中。
• 评估大语言模型在不同模型规模和架构下，区分事实一致与不一致摘要的能力。
• 探究模型规模、评分方法或不一致摘要来源是否影响大语言模型对事实一致性的检测能力。

提出的方法

• 提出FIB，该基准使用超过3,500对人工标注的摘要对——包括事实一致和事实不一致的摘要——其来源为XSum和CNN/DM数据集。
• 使用人工编写的参考摘要作为事实一致的黄金标准，并经人工验证其事实准确性。
• 通过22个预训练摘要模型生成事实不一致的摘要，随后人工标注为不一致。
• 通过评估大语言模型是否为一致摘要分配更高分数（使用对数似然或PMI）来衡量事实一致性。
• 在六个模型家族（BLOOM、OPT、GPT、T0等）的23个大语言模型上测试多种评分函数：条件对数似然（LL）、长度归一化的LL、PMI和长度归一化的PMI。
• 对不一致摘要的来源（未经编辑的参考摘要、FactCC编辑后的版本、MFMA生成的版本）以及评分函数进行消融研究，以验证基准设计的合理性。

实验结果

研究问题

• RQ1 在新闻摘要任务中，大语言模型是否更倾向于选择事实一致的摘要而非事实不一致的摘要？
• RQ2 模型规模（1B至176B参数）如何影响事实一致性的检测能力？
• RQ3 不一致摘要的来源（如模型生成、FactCC编辑、或直接来自文档的原文）是否会影响大语言模型检测不一致性的能力？
• RQ4 不同的评分函数（如LL、PMI等）如何影响事实一致性检测的准确性？
• RQ5 那些在源文档中以原文形式出现的、事实不一致的摘要，是否能欺骗大语言模型，使其更偏好这些错误摘要而非正确摘要？

主要发现

• BLOOM（176B）在72.4%的时间内为事实一致的摘要分配更高分数，表明其对正确性的总体偏好。
• 当不一致摘要直接从源文档中复制时，BLOOM反而在9.6%的时间内更偏好这些摘要——表明存在显著的失败模式。
• 更大的模型（如OPT-175B）在事实一致性方面表现更优，其在一致与不一致摘要选择任务中的准确率达到50.0%。
• FactCC生成的不一致摘要对部分大语言模型的欺骗率与模型生成的不一致摘要相当，表明存在鲁棒性挑战。
• 长度归一化的PMI评分函数在多个模型中均优于其他评分函数，能更有效地检测事实不一致性。
• 像GPT-Neo-2.7B和GPTJ-6B这样的模型在处理字面不一致摘要时准确率极低（分别为7.7%和7.7%），表明其对复制粘贴类伪影具有高度脆弱性。