[论文解读] Learning from Fact-checkers: Analysis and Generation of Fact-checking Language

Nguyen D. Vo, Kyumin Lee|arXiv (Cornell University)|Oct 4, 2019

Misinformation and Its Impacts被引用 7

一句话总结

本文提出了一种深度学习框架，用于生成反驳网络言论中虚假信息的事实核查回应（FC-tweets）。基于包含64,110条原始推文及其相关事实核查回复的自定义数据集，作者采用双教师蒸馏方法（FCRG-DT）训练了一个序列到序列模型，其在相关性方面相比基线模型最高提升30%，并生成了更正式、基于事实的回应，有效减少了虚假信息的传播。

ABSTRACT

In fighting against fake news, many fact-checking systems comprised of human-based fact-checking sites (e.g., snopes.com and politifact.com) and automatic detection systems have been developed in recent years. However, online users still keep sharing fake news even when it has been debunked. It means that early fake news detection may be insufficient and we need another complementary approach to mitigate the spread of misinformation. In this paper, we introduce a novel application of text generation for combating fake news. In particular, we (1) leverage online users named \\emph{fact-checkers}, who cite fact-checking sites as credible evidences to fact-check information in public discourse; (2) analyze linguistic characteristics of fact-checking tweets; and (3) propose and build a deep learning framework to generate responses with fact-checking intention to increase the fact-checkers' engagement in fact-checking activities. Our analysis reveals that the fact-checkers tend to refute misinformation and use formal language (e.g. few swear words and Internet slangs). Our framework successfully generates relevant responses, and outperforms competing models by achieving up to 30\\% improvements. Our qualitative study also confirms that the superiority of our generated responses compared with responses generated from the existing models.

研究动机与目标

• 为应对尽管已有事实核查系统，虚假信息仍持续传播的问题，本文研究如何通过自动化回应生成来支持人工事实核查员。
• 收集并分析大规模原始推文与事实核查回复配对的数据集，以理解事实核查沟通中的语言模式。
• 开发一种文本生成框架，为原始推文生成相关性高、正式且具有事实核查意图的回应，从而扩大事实核查员的影响。
• 通过自动指标和人工评估对比基线模型，评估模型性能，确认其在相关性和正式性方面的改进。

提出的方法

• 作者从Twitter上收集了64,110条原始推文及其由真实用户发布的事实核查回复，重点关注引用可信事实核查来源的推文。
• 分析了事实核查推文的语言特征，发现事实核查者使用正式语言，避免使用粗俗语和网络用语，并主要通过证据来反驳虚假信息。
• 提出一种采用双教师蒸馏的序列到序列文本生成模型（FCRG-DT），通过结合两个教师模型的知识来提升回应质量。
• 该模型使用从零开始训练的词嵌入，并采用注意力机制以对齐输入推文与生成的回应。
• 通过自动指标（ROUGE、BLEU、F1）和人工标注对框架进行评估，并与基线模型（SeqAttB、FCRG-Baseline）进行比较。

实验结果

研究问题

• RQ1 事实核查者在反驳虚假信息时，其语言表达与普通用户有何不同？
• RQ2 事实核查推文的关键语言和结构特征是什么，使其与随机回复或非事实核查回复相区别？
• RQ3 能否有效训练一个深度学习模型，基于原始推文生成高相关性且具有正式语气的事实核查回应？
• RQ4 所提出的FCRG-DT模型在生成具有明确事实核查意图的回应方面，相较于基线模型表现如何？

主要发现

• 事实核查推文显著比普通或随机回复更正式，使用更少的粗俗语和网络用语，表明其采用了具有说服力的沟通策略。
• 事实核查者主要反驳虚假信息而非确认其真实性，且其回应高度针对原始推文中的主张。
• FCRG-DT模型在相关性方面相比基线模型最高提升30%，该结果通过自动指标和人工评估均得到验证。
• 人工评估确认，FCRG-DT生成的回应比竞争模型更具相关性且结构更正式。
• 模型学习到的词嵌入捕捉到了有意义的语义关系，例如'obamacare'与'healthcare'及'immunity'语义相近，'politifact'与'debunks'和'answered'语义相关。
• 尽管使用了事实核查文章内容，性能并未提升，表明直接从推文生成回应比依赖外部文章文本更有效。