[论文解读] Generating Fact Checking Briefs

Angela Fan, Aleksandra Piktus+6 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 43被引用 4

一句话总结

本文引入事实核查简报——特别是问答简报（QABriefs）——以提升人工事实核查的准确性和效率。通过一种新型模型QABRIEFER和众包数据集（QABRIEFDATASET），作者表明，与仅使用搜索栏相比，QABriefs可将众包工作者的准确率提高10%，核查时间减少20%。

ABSTRACT

Fact checking at scale is difficult -- while the number of active fact checking websites is growing, it remains too small for the needs of the contemporary media ecosystem. However, despite good intentions, contributions from volunteers are often error-prone, and thus in practice restricted to claim detection. We investigate how to increase the accuracy and efficiency of fact checking by providing information about the claim before performing the check, in the form of natural language briefs. We investigate passage-based briefs, containing a relevant passage from Wikipedia, entity-centric ones consisting of Wikipedia pages of mentioned entities, and Question-Answering Briefs, with questions decomposing the claim, and their answers. To produce QABriefs, we develop QABriefer, a model that generates a set of questions conditioned on the claim, searches the web for evidence, and generates answers. To train its components, we introduce QABriefDataset which we collected via crowdsourcing. We show that fact checking with briefs -- in particular QABriefs -- increases the accuracy of crowdworkers by 10% while slightly decreasing the time taken. For volunteer (unpaid) fact checkers, QABriefs slightly increase accuracy and reduce the time required by around 20%.

研究动机与目标

• 应对虚假信息广泛传播背景下，众包事实核查在可扩展性和准确性方面的局限性。
• 通过在验证过程开始前提供预先核查过的结构化信息，提升人工事实核查的表现。
• 开发一种自动生成高质量、与声明相关的简报的方法，以支持事实核查决策。
• 创建一个大规模、高质量的QABriefs数据集，以支持事实核查模型的训练与评估。
• 证明简报可减少对人工搜索的依赖，同时提升事实核查工作流的速度与正确性。

提出的方法

• 开发QABRIEFER，一种两阶段模型：首先基于声明生成问题，然后使用开放域问答（open-domain QA）回答这些问题。
• 使用密集段落检索（DPR）提取相关维基百科段落，用于段落型简报。
• 通过将提及的实体链接到其维基百科页面，构建以实体为中心的简报。
• 利用一个大规模、众包获取的数据集（QABRIEFDATASET），包含约10,000个QABriefs，每个简报包含约3对问答。
• 在Natural Questions（NQ）和QABRIEFDATASET上微调预训练的序列到序列模型（BART），以实现最佳问答性能。
• 整合检索与生成组件，生成端到端的简报，模拟专家级别的背景准备过程。

实验结果

研究问题

• RQ1 在事实核查前生成结构化简报，能否提升众包工作者的准确性和效率？
• RQ2 段落型、以实体为中心和QABriefs等不同类型简报在支持事实核查表现方面有何差异？
• RQ3 自动化模型（QABRIEFER）在多大程度上能生成质量与人工标注简报相当的QABriefs？
• RQ4 使用简报是否能减少对通用网络搜索的过度依赖，同时保持或提升验证质量？
• RQ5 简报对事实核查者的信心及决策行为有何影响？

主要发现

• 由QABRIEFER生成的QABriefs相比仅使用搜索栏，使众包工作者的准确率提高了10%。
• 使用QABriefs的志愿者核查员准确率提升了4%，核查时间比仅使用搜索访问快20%。
• 人工标注的QABriefs带来的性能提升最高，其次是QABRIEFER生成的简报和其他类型简报。
• 提供QABriefs导致过度自信：约45%的众包工作者未使用搜索栏，尽管搜索访问能进一步提升准确率。
• 在Natural Questions（NQ）和QABRIEFDATASET上同时微调BART，实现了最佳问答性能，凸显了在大规模问答数据上进行预训练的价值。
• 本研究证明，简报可支持更结构化的事实核查流程，尤其当简报源自专业事实核查文章时效果更显著。