[论文解读] FAKTA: An Automatic End-to-End Fact Checking System

Moin Nadeem, Wei Fang+3 more|arXiv (Cornell University)|Jun 7, 2019

Topic Modeling参考文献 28被引用 4

一句话总结

FAKTA 是一个端到端的事实核查系统，整合了文档检索、来源可靠性评估、立场检测和语言分析，以预测声明的事实性，并在文档和句子层面提供证据。在使用基于 Google 的检索和两标签立场分类设置时，其在 FEVER 数据集上的 F1（宏平均）达到 59.35%。

ABSTRACT

We present FAKTA which is a unified framework that integrates various components of a fact checking process: document retrieval from media sources with various types of reliability, stance detection of documents with respect to given claims, evidence extraction, and linguistic analysis. FAKTA predicts the factuality of given claims and provides evidence at the document and sentence level to explain its predictions

研究动机与目标

• 通过在多种媒体来源上自动化事实核查过程，应对虚假新闻日益增长的挑战。
• 将事实核查的各个独立组件——检索、可靠性评估、立场检测和证据聚合——统一到一个端到端的框架中。
• 通过突出显示支持最终判断的相关文档和句子级别推理，提供可解释的预测结果。
• 通过结合来源可靠性与语言特征，以及声明和文档的语义信息，提升事实核查性能。

提出的方法

• 使用来自维基百科和主流媒体三个可靠性等级的命名实体和 POS 标注关键词（NN、NNS、NNP、NNPS、JJ、CD）进行查询扩展，以检索相关文档。
• 基于声明与文档（标题和内容）之间高区分性 POS 标签重叠程度，采用基于重排序的模型，其权重由初始的 Lucene 或 Google API 评分决定。
• 采用两级深度学习模型，结合词袋模型与卷积神经网络进行立场检测（同意、反对、讨论），并引入对抗性领域自适应技术增强性能。
• 利用多个词典对检索到的文档的语言特征进行分析，以评估其风格和语义特征。
• 通过加权投票机制聚合所有检索文档的立场预测结果，以确定最终声明的事实性（支持、反驳或无证据）。
• 整合来自 Media Bias/Fact Check（MBFC）注释的来源可靠性评分，以加权文档的相关性及其对最终判断的影响。

实验结果

研究问题

• RQ1 端到端系统能否有效整合文档检索、立场检测和证据聚合，以实现具有可解释推理的声明事实性预测？
• RQ2 在自动化事实核查系统中，整合来源可靠性（高、混合、低）对性能和鲁棒性有何影响？
• RQ3 统一框架在 FEVER 等基准数据集上，相较于事实核查流水线中的孤立组件，能在多大程度上实现性能超越？
• RQ4 使用 POS 标注关键词和重排序模型在提升事实核查声明检索精度方面有多有效？
• RQ5 当标注数据有限时，对抗性领域自适应能否提升立场检测的性能？

主要发现

• 当使用 Google API 进行检索并采用两标签立场分类（支持/反驳）时，FAKTA 在 FEVER 基准测试中达到 59.35% 的 F1（宏平均）得分，优于基线 MLP 模型。
• 在使用 Google 基于检索的三标签立场设置（支持、反驳、无证据）下，系统达到 41.21% 的准确率和 39.65% 的 F1（宏平均），表明其在复杂声明上的强大性能。
• 与 Lucene 相比，使用 Google API 进行文档检索显著提升了结果，在三标签设置下 F1（宏平均）高出 2.5%，准确率高出 2.47%。
• 当将标签空间减少到两类（支持/反驳）时，性能显著提升，相同检索设置下 F1（宏平均）从 39.65% 提高至 59.35%。
• 整合来自 MBFC 的来源可靠性评分，增强了系统优先选择可信证据的能力，提升了预测的可解释性和鲁棒性。
• 模型生成的句子级别立场推理提供了有意义的解释，文档视图中高亮的句子能清晰表明其与声明的一致性或不一致性。