[论文解读] Automated Fact Checking: Task formulations, methods and future directions

James Thorne, Andreas Vlachos|arXiv (Cornell University)|Jun 20, 2018

Misinformation and Its Impacts参考文献 29被引用 130

一句话总结

本综述统一了自动化事实核查在 NLP 及相关领域的任务表述与方法论，强调证据是区分性的关键因素，并概述未来 NLP 的发展方向。

ABSTRACT

The recently increased focus on misinformation has stimulated research in fact checking, the task of assessing the truthfulness of a claim. Research in automating this task has been conducted in a variety of disciplines including natural language processing, machine learning, knowledge representation, databases, and journalism. While there has been substantial progress, relevant papers and articles have been published in research communities that are often unaware of each other and use inconsistent terminology, thus impeding understanding and further progress. In this paper we survey automated fact checking research stemming from natural language processing and related disciplines, unifying the task formulations and methodologies across papers and authors. Furthermore, we highlight the use of evidence as an important distinguishing factor among them cutting across task formulations and methods. We conclude with proposing avenues for future NLP research on automated fact checking.

研究动机与目标

• 澄清并统一自动化事实核查在 NLP、ML、知识表示和新闻学领域的定义与任务表述。
• 考察事实核查中使用的证据的作用及类型，以及它们如何影响输入与输出。
• 回顾数据集、模型和评估范式，以发现空白与未来研究方向。

提出的方法

• 将输入分为文本性主张、三元组或文档，并讨论基础/消解的需求。
• 调研证据来源，包括知识图谱、文本来源，以及先前的已核查事实库。
• 比较输出表述，从二元、序级到多标签以及基于分数的判定及其相应的评估信号。
• 讨论监督学习作为主导方法，以及证据检索和蕴含/排序方法的整合。
• 突出在类似 FEVER 的设置中，诸如文档检索、句子选择和文本蕴含模型等管道架构。

实验结果

研究问题

• RQ1 在自动化事实核查研究中，常见的输入和输出是什么？
• RQ2 使用了哪些证据类型，它们如何影响模型设计与评估？
• RQ3 数据集如何影响事实核查模型的开发与评估？
• RQ4 主要的方法学方法（例如文本蕴含、知识图谱）及其局限性有哪些？
• RQ5 哪些未来的 NLP 方向在实现可扩展且可信的自动化事实核查方面具有潜力？

主要发现

• 证据为基础的方法在任务表述中居中，知识图谱、文本来源和先前已核查的主张是关键输入。
• 输出多样，既有二元标签，也有多分类和基于分数的判定，类似 FEVER 的任务需要附带证据句子与判定。
• 数据集在规模和证据可用性方面存在差异，影响机器学习方法在事实核查中的可行性。
• 监督学习主导当前方法，通常结合检索、对齐/基础、以及叙事或出处等因素。
• 依赖于创作者信息、可信度信号以及知识库局限性所带来的伦理与基础性挑战。