[论文解读] Scrutinizer: A Mixed-Initiative Approach to Large-Scale, Data-Driven Claim Verification

Georgios Karagiannis, M. A. Saeed+2 more|arXiv (Cornell University)|Mar 14, 2020

Data Quality and Management被引用 8

一句话总结

Scrutinizer 是一种混合主动性系统，通过使用主动学习和基于成本的优化器，指导人工事实核查员从自然语言声明生成 SQL 查询，从而加速大规模、数据驱动的声明验证。与手动工作流相比，该系统将验证时间减少了 50% 以上，同时保持了高准确率，利用众包专家知识和迭代式模型改进过程。

ABSTRACT

Organizations such as the International Energy Agency (IEA) spend significant amounts of time and money to manually fact check text documents summarizing data. The goal of the Scrutinizer system is to reduce verification overheads by supporting human fact checkers in translating text claims into SQL queries on an associated database. Scrutinizer coordinates teams of human fact checkers. It reduces verification time by proposing queries or query fragments to the users. Those proposals are based on claim text classifiers, that gradually improve during the verification of a large document. In addition, Scrutinizer uses tentative execution of query candidates to narrow down the set of alternatives. The verification process is controlled by a cost-based optimizer. It optimizes the interaction with users and prioritizes claim verifications. For the latter, it considers expected verification overheads as well as the expected claim utility as training samples for the classifiers. We evaluate the Scrutinizer system using simulations and a user study, based on actual claims and data and using professional fact checkers employed by IEA. Our experiments consistently demonstrate significant savings in verification time, without reducing result accuracy.

研究动机与目标

• 减少在大型、数据丰富的报告中手动验证统计声明所需的时间和精力。
• 支持人类事实核查团队将自然语言声明转化为复杂、异构数据集上的可执行 SQL 查询。
• 通过智能查询建议和主动学习最小化人工工作量，利用先前验证的反馈持续改进准确性。
• 设计一种可扩展的混合主动性系统，将人类专业知识与机器学习相结合，用于长期的验证工作流。
• 在现实应用场景（如国际能源署的年度能源报告）中，显著降低验证开销的同时确保高准确率。

提出的方法

• 使用基于成本的优化器，根据预期验证开销和声明效用来调度和优先处理声明验证任务。
• 使用专家标注声明训练的文本分类器，将自然语言陈述映射到候选 SQL 查询模板。
• 通过查询候选的试探性执行来剪枝搜索空间，提升查询建议的相关性。
• 利用主动学习，通过在验证过程中收集人工核查员的反馈，迭代改进声明到 SQL 的分类器。
• 支持基于众包的工作流，允许多名专家协作，系统根据模型置信度和成本估计动态分配任务。
• 集成丰富的 SQL 函数库，以处理统计声明中常见的复杂算术和聚合操作。

实验结果

研究问题

• RQ1 混合主动性系统如何有效减少在数据丰富的文档中验证大量统计声明的人工工作量？
• RQ2 在团队协作环境中，主动学习和查询建议在多大程度上能提升人工核查员的效率和准确性？
• RQ3 系统如何对声明验证任务进行优先级排序，以在保持高准确率的同时最小化总验证时间？
• RQ4 迭代式模型改进在多大程度上能减少对后续手动查询构建的需求？
• RQ5 人类在环反馈的集成如何增强数据驱动声明验证的可扩展性和鲁棒性？

主要发现

• 与国际能源署（IEA）当前使用的手动工作流相比，Scrutinizer 将平均验证时间减少了 50% 以上。
• 系统实现了高准确率的分类器性能，前 10 名预测捕获了模型大部分潜力，表明查询建议有效。
• 通过主动学习，分类器性能随时间逐步提升，随着更多声明被验证，准确率持续增长。
• 对查询候选的试探性执行显著减少了无关建议的数量，提升了用户效率。
• 基于成本的优化器有效平衡了工作负载分配与任务优先级，从而加快了整体验证周期。
• 国际能源署（IEA）已承诺将其用于 2020 年度报告，验证了其在现实世界中的适用性和影响力。