[论文解读] Fully Automated Fact Checking Using External Sources

Georgi Karadzhov, Preslav Nakov+3 more|arXiv (Cornell University)|Oct 1, 2017

Topic Modeling被引用 5

一句话总结

本文提出了一种轻量级、全自动的事实核查框架，利用外部网络资源，通过深度学习和基于核的分类方法验证声明。该框架采用基于LSTM的文本编码，将声明表征与搜索片段及全文片段中的证据相结合，在无需大量特征工程的情况下，在谣言检测和社区问答事实核查任务中均表现出色。

ABSTRACT

Given the constantly growing proliferation of false claims online in recent years, there has been also a growing research interest in automatically distinguishing false rumors from factually true claims. Here, we propose a general-purpose framework for fully-automatic fact checking using external sources, tapping the potential of the entire Web as a knowledge source to confirm or reject a claim. Our framework uses a deep neural network with LSTM text encoding to combine semantic kernels with task-specific embeddings that encode a claim together with pieces of potentially-relevant text fragments from the Web, taking the source reliability into account. The evaluation results show good performance on two different tasks and datasets: (i) rumor detection and (ii) fact checking of the answers to a question in community question answering forums.

研究动机与目标

• 开发一种通用的、全自动的事实核查系统，依赖外部网络资源而非精心整理的知识库。
• 通过使用深度神经网络学习声明和证据的任务特定表征，最小化特征工程。
• 在两个不同任务上评估该框架：谣言检测和社区问答论坛中的答案事实核查。
• 创建并发布一个用于社区问答（cQA）事实性评估的新型高质量数据集，该领域此前研究较少。
• 通过最少的假设和训练数据，证明模型在不同领域和声明类型上的鲁棒性与泛化能力。

提出的方法

• 使用tf-idf加权关键词将给定声明转换为查询，避免使用时间指示符等任务特定特征。
• 使用生成的查询从搜索引擎（Google/Bing）检索支持性文档，重点关注搜索片段和网页全文中的关键句子。
• 使用双向LSTM网络学习声明、检索到的片段以及网页中相关文本片段的密集语义表征。
• 通过基于文档可信度的证据加权，将源可靠性整合到表征学习过程中。
• 将学习到的嵌入表示与成对相似性特征（例如，声明与证据之间的余弦相似度）结合，形成任务特定表征。
• 使用带有RBF核的支撑向量机（SVM）对组合特征集进行分类，判断声明为真或假。

实验结果

研究问题

• RQ1 仅使用网络搜索结果和深度学习，是否能实现全自动的事实核查系统，并在不依赖精心整理知识库的情况下取得良好性能？
• RQ2 使用LSTM和基于核的分类方法进行端到端学习，在多样化的事实核查任务中对声明验证是否有效？
• RQ3 在最小化特征工程的前提下，轻量级模型在谣言检测和cQA事实核查等不同领域中的泛化能力如何？
• RQ4 将源可靠性整合到证据表征中，对分类性能有何影响？
• RQ5 为社区问答事实性创建的新型高质量数据集，能否有效用于训练和评估事实核查模型？

主要发现

• 所提出的框架在谣言检测和cQA事实核查任务中均表现出色，证明其在不同领域间的泛化能力。
• 在数据效率方面优于先前工作，使用六分之一的训练数据即可达到与Popat等人（2017）相当的性能。
• LSTM-based语义编码与基于核的SVM分类相结合，即使在训练数据有限的情况下，也能实现平衡且准确的预测。
• 系统仅使用搜索引擎片段即可实现良好性能，表明其具有高度的实际效率和可扩展性。
• 为cQA事实性创建并发布的新型高质量数据集，为该研究领域提供了宝贵的基准，推动未来研究发展。
• 该方法与微博中的时间建模方法（如Ma等人，2015, 2016）正交，表明未来可将其与这些方法结合，构建混合系统。