[论文解读] Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization.

Meng Cao, Yue Dong+1 more|arXiv (Cornell University)|Aug 30, 2021

Topic Modeling参考文献 25被引用 6

一句话总结

本文提出了一种新颖的方法，通过利用预训练和微调的掩码语言模型中的先验与后验概率，区分摘要生成中的事实性与非事实性幻觉实体。该方法在准确率和F1分数上显著优于三个基线模型，并且与人类对事实性的判断具有高度相关性。

ABSTRACT

State-of-the-art abstractive summarization systems often generate \emph{hallucinations}; i.e., content that is not directly inferable from the source text. Despite being assumed incorrect, many of the hallucinated contents are consistent with world knowledge (factual hallucinations). Including these factual hallucinations into a summary can be beneficial in providing additional background information. In this work, we propose a novel detection approach that separates factual from non-factual hallucinations of entities. Our method is based on an entity's prior and posterior probabilities according to pre-trained and finetuned masked language models, respectively. Empirical results suggest that our method vastly outperforms three strong baselines in both accuracy and F1 scores and has a strong correlation with human judgments on factuality classification tasks. Furthermore, our approach can provide insight into whether a particular hallucination is caused by the summarizer's pre-training or fine-tuning step.

研究动机与目标

• 为解决在抽象摘要中识别事实性幻觉——即与世界知识相符的幻觉实体——的挑战。
• 将事实性幻觉与非事实性幻觉分离，以生成更具信息量和可靠性的摘要。
• 揭示幻觉是源于摘要模型的预训练阶段还是微调阶段。
• 开发一种与人工标注的事实性判断高度相关的检测方法。

提出的方法

• 该方法使用预训练的掩码语言模型在源文本上计算实体的先验概率。
• 使用微调后的抽象摘要模型计算实体的后验概率。
• 通过后验概率与先验概率的比值来评估幻觉实体在事实上是否成立的可能性。
• 该方法利用预训练与微调之间概率分布的变化，追踪幻觉的起源。
• 使用人工标注的数据在事实性分类任务上进行模型的训练与评估。
• 通过准确率和F1分数，将该方法与三个强基线进行对比评估。

实验结果

研究问题

• RQ1 我们能否在抽象摘要中有效地区分事实性幻觉与非事实性幻觉？
• RQ2 所提出的方法在事实性判断上与人类判断的相关性如何？
• RQ3 该方法能否识别出幻觉实体更可能源于模型的预训练还是微调阶段？
• RQ4 该方法在检测事实性幻觉方面与现有基线相比表现如何？

主要发现

• 所提出的方法在检测事实性幻觉方面，显著优于三个强基线模型，在准确率和F1分数上均表现更优。
• 该方法在分类任务上与人工标注的事实性判断表现出强烈相关性。
• 该方法成功识别出幻觉实体更可能源于模型的预训练还是微调阶段。
• 该方法在多种不同的摘要任务中表现出稳健性能，显示出良好的泛化能力。