[论文解读] Hallucinated but Factual! Inspecting the Factuality of Hallucinations in Abstractive Summarization

Meng Cao, Yue Dong+1 more|ArXiv.org|Aug 30, 2021

Topic Modeling被引用 14

一句话总结

本文提出了一种新颖方法，通过利用掩码语言模型的先验和后验概率，区分摘要生成中的事实性幻觉与非事实性幻觉。结果表明，事实性幻觉——在SOTA模型（如BART）中普遍存在——往往具有益处，且可被高精度检测，优于基线方法，并可在不牺牲抽象性的情况下，通过强化学习微调提升事实性。

ABSTRACT

State-of-the-art abstractive summarization systems often generate \emph{hallucinations}; i.e., content that is not directly inferable from the source text. Despite being assumed incorrect, we find that much hallucinated content is factual, namely consistent with world knowledge. These factual hallucinations can be beneficial in a summary by providing useful background information. In this work, we propose a novel detection approach that separates factual from non-factual hallucinations of entities. Our method utilizes an entity's prior and posterior probabilities according to pre-trained and finetuned masked language models, respectively. Empirical results suggest that our approach vastly outperforms two baselines %in both accuracy and F1 scores and strongly correlates with human judgments. % on factuality classification tasks. Furthermore, we show that our detector, when used as a reward signal in an off-line reinforcement learning (RL) algorithm, significantly improves the factuality of summaries while maintaining the level of abstractiveness.

研究动机与目标

• 探究抽象性摘要中的幻觉内容是否总是错误的，挑战‘所有幻觉均有害’的假设。
• 开发一种方法，以区分事实性幻觉（与世界知识一致）与非事实性幻觉（事实错误）。
• 在XSum数据集上构建一个用于实体级别幻觉与事实性的真人标注数据集。
• 评估所提出的检测器是否可作为离线强化学习中有效的奖励信号，以提升摘要的事实性。
• 通过追踪幻觉是否源于预训练或微调数据分布，分析事实性幻觉的来源。

提出的方法

• 该方法使用K近邻分类器，将实体的先验概率（来自预训练掩码语言模型）与后验概率（来自在源文档给定条件下微调的掩码语言模型）作为特征。
• 先验概率计算为实体在预训练语言模型词汇表中的似然性，与源文本无关。
• 后验概率计算为在给定源文档上下文时，实体的似然性，使用微调后的掩码语言模型。
• 分类器在新构建的XSum数据集上的实体级别幻觉与事实性标注数据上进行训练，标签指示某实体是否被幻觉化及其是否为事实性。
• 将检测器作为奖励信号集成至离线强化学习框架中，以优化摘要模型的事实性。
• 通过比较在XSum和CNN/DM上微调的两种CMLM的后验概率，利用对数似然比追踪模型知识的来源。

实验结果

研究问题

• RQ1 在抽象性摘要中，被幻觉化的实体是否总是事实错误的？还是可能为事实正确且有益？
• RQ2 掩码语言模型的先验与后验概率能否可靠地区分实体级别的事实性与非事实性幻觉？
• RQ3 在离线强化学习中使用所提出的检测器作为奖励信号，是否能提升生成摘要的事实性，同时不降低抽象性？
• RQ4 事实性幻觉的来源是什么——是预训练数据还是微调数据（如XSum）？
• RQ5 与现有基线相比，该方法在检测非事实性幻觉方面表现如何，是否与人类判断具有强相关性？

主要发现

• 在真人标注的XSum数据集和Maynez等人（2020）的数据集上，所提方法在检测非事实性幻觉方面优于两个基线方法。
• 在XEnt测试集上，该方法的事实性F1得分为91.91，显著优于基线方法。
• 检测器与真人标注的事实性评分具有强相关性，表明其与人类判断高度一致。
• 当作为离线强化学习中的奖励信号使用时，该方法在保持ROUGE得分的同时提升了摘要的事实性，证明其在事实性与抽象性之间的权衡优于损失截断基线。
• 消融实验证实，先验与后验概率均至关重要，其中后验概率对事实性分类尤为关键。
• 具有高σ(eₖ)值（表示在XSum中比在CNN/DM中更自信）的事实性幻觉，经TF-IDF检索与频率分析显示，主要源自XSum训练集。