[论文解读] DeClarE: Debunking Fake News and False Claims using Evidence-Aware Deep Learning

Kashyap Popat, Subhabrata Mukherjee+2 more|arXiv (Cornell University)|Sep 17, 2018

Misinformation and Its Impacts参考文献 35被引用 31

一句话总结

DeClarE 是一种端到端的神经网络模型，通过整合外部证据、语言风格和来源可信度，无需人工特征工程即可评估自然语言声明的可信度。它利用注意力机制生成可解释、用户可理解的说明，在四个基准数据集上达到最先进性能，消融实验验证了其鲁棒性与透明性。

ABSTRACT

Misinformation such as fake news is one of the big challenges of our society. Research on automated fact-checking has proposed methods based on supervised learning, but these approaches do not consider external evidence apart from labeled training instances. Recent approaches counter this deficit by considering external sources related to a claim. However, these methods require substantial feature modeling and rich lexicons. This paper overcomes these limitations of prior work with an end-to-end model for evidence-aware credibility assessment of arbitrary textual claims, without any human intervention. It presents a neural network model that judiciously aggregates signals from external evidence articles, the language of these articles and the trustworthiness of their sources. It also derives informative features for generating user-comprehensible explanations that makes the neural network predictions transparent to the end-user. Experiments with four datasets and ablation studies show the strength of our method.

研究动机与目标

• 实现对自然语言声明的实时可信度自动化评估，无需依赖人工特征工程或词典。
• 将外部网络证据、语言风格和来源可信度整合到统一的端到端深度学习框架中。
• 生成用户可理解的、基于注意力机制的说明，使模型预测过程透明且可解释。
• 克服先前方法的局限性，这些方法要么忽略外部证据，要么需要大量特征建模。
• 通过最小化人工干预，实现可扩展的、自动化的虚假新闻与错误声明辨伪。

提出的方法

• DeClarE 使用双向长短期记忆网络（biLSTM）对从网络检索到的外部证据文章的语言进行编码。
• 通过词嵌入建模输入声明的语义上下文，并将其与证据文章内容对齐。
• 注意力机制根据与声明的相关性，动态聚焦于证据文章中的相关词语和段落。
• 通过学习得到的来源嵌入来建模来源可信度，以捕捉证据文章来源的可信度信号。
• 通过全连接层聚合声明嵌入、注意力加权的文章表示和来源嵌入，以预测可信度分数。
• 通过注意力权重和显著词语特征生成可解释的说明，突出输出中的关键证据和推理依据。

实验结果

研究问题

• RQ1 端到端的深度学习模型是否能在不依赖人工特征或词典的情况下，有效评估自然语言声明的可信度？
• RQ2 神经网络在多大程度上能够整合外部证据、语言风格和来源可信度，以提升可信度评估性能？
• RQ3 基于注意力机制的说明生成在多大程度上增强了自动化事实核查的透明度和用户信任？
• RQ4 DeClarE 在不同类型的声明和数据集上，与最先进基线模型相比，在准确率和鲁棒性方面表现如何？
• RQ5 来源嵌入和注意力机制在提升模型可解释性和性能方面分别起到什么作用？

主要发现

• DeClarE 在四个真实世界数据集上达到最先进性能，在可信度评估准确率方面超越现有基线模型。
• 消融实验表明，外部证据、语言建模和来源可信度的整合显著提升了模型性能。
• 注意力机制成功突出显示了相关证据片段，如统计数据和断言，与人工标注的说明一致。
• 来源嵌入在学习到的嵌入空间中有效区分了主流新闻媒体与虚假新闻来源，证明了模型捕捉来源可信度的能力。
• 模型在嵌入空间中将具有相似意识形态的政治人物聚集在一起，表明其能够捕捉有意义的语义和意识形态关系。
• DeClarE 通过识别证据文章中的显著词语和短语（如“几乎属实”或“记录报告”）生成可解释的说明，直接支持可信度判断。