[论文解读] CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media

Momchil Hardalov, Anton Chernyavskiy+3 more|arXiv (Cornell University)|Oct 10, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文提出了 CrowdChecked，一个从 Twitter 上的众包事实核查中挖掘得到的大规模数据集，包含 330,000 对推文–事实核查文章，利用远程监督对噪声数据进行标注。作者提出了一种改进的自适应训练方法，在 CLEF'21 CheckThat! 基准测试上相比当前最先进方法将零样本事实核查性能提升了 2 个百分点，证明了利用众包事实核查数据训练鲁棒检测系统的价值。

ABSTRACT

While there has been substantial progress in developing systems to automate fact-checking, they still lack credibility in the eyes of the users. Thus, an interesting approach has emerged: to perform automatic fact-checking by verifying whether an input claim has been previously fact-checked by professional fact-checkers and to return back an article that explains their decision. This is a sensible approach as people trust manual fact-checking, and as many claims are repeated multiple times. Yet, a major issue when building such systems is the small number of known tweet--verifying article pairs available for training. Here, we aim to bridge this gap by making use of crowd fact-checking, i.e., mining claims in social media for which users have responded with a link to a fact-checking article. In particular, we mine a large-scale collection of 330,000 tweets paired with a corresponding fact-checking article. We further propose an end-to-end framework to learn from this noisy data based on modified self-adaptive training, in a distant supervision scenario. Our experiments on the CLEF'21 CheckThat! test set show improvements over the state of the art by two points absolute. Our code and datasets are available at https://github.com/mhardalov/crowdchecked-claims

研究动机与目标

• 为解决社交媒体中检测已核查过声明的训练数据稀缺问题。
• 利用 Twitter 上的众包事实核查行为，构建大规模、含噪声的推文–事实核查文章对训练数据集。
• 开发一种在含噪声、远程监督数据上进行训练的鲁棒方法，以提升事实核查检测性能。
• 证明通过挖掘众包事实核查链接可显著提升现有基线方法的性能。

提出的方法

• 挖掘用户在推文中回复时附带 Snopes 事实核查文章链接的 Twitter 讨论，提取原始声明推文及其对应的文章。
• 使用远程监督对挖掘出的配对进行标注，采用两种不同的策略生成包含 3.5K 至 50K 个样本的训练集。
• 提出一种改进的自适应训练框架，通过动态调整损失权重来减轻噪声在模型优化过程中的影响。
• 使用自适应训练流程在 CrowdChecked 数据集上微调 BERT 和 RoBERTa 模型，以改善声明匹配效果。
• 引入额外的损失函数权重，以在反向传播过程中优先考虑可靠预测并抑制噪声样本。

Figure 1: Crowd fact-checking thread on Twitter. The first tweet ( Post w/ claim ) makes the claim that Ivermectin causes sterility in men , which then receives replies . A (crowd) fact-checker replies with a link to a verifying article from a fact-checking website. We pair the article with the twee

实验结果

研究问题

• RQ1 能否有效挖掘社交媒体上的众包事实核查行为，以构建大规模训练数据集，用于检测已核查过的声明？
• RQ2 在从众包事实核查线程中提取的噪声推文–文章对上，远程监督标注策略的有效性如何？
• RQ3 自适应训练能否在远程监督设置下缓解噪声标签对事实核查检索的影响？
• RQ4 在 CrowdChecked 数据集上进行微调是否能在标准基准测试上带来相对于现有 SOTA 方法的可测量性能提升？

主要发现

• CrowdChecked 数据集包含从 Twitter 讨论中挖掘出的 330,000 对推文–事实核查文章，这些讨论中用户链接至 Snopes 事实核查内容。
• 所提出的自适应训练方法在 CLEF'21 CheckThat! 测试集上相比当前最先进方法实现了 2 个百分点的绝对性能提升。
• 该方法在多个指标上均表现出一致的增益，包括 MRR、P@1 和 MAP@5，相较于强基线方法最高提升达 4 个百分点。
• 采用两种不同标注策略的远程监督方法生成了包含 3.5K 至 50K 个样本的训练集，使模型微调得以有效进行。
• 在 CrowdChecked 数据集上进行微调的模型显著优于在较小规模人工构建数据集上训练的模型，验证了挖掘众包事实核查行为的实用价值。

Figure 2: Histogram of the year of publication of the Snopes articles included in CrowdChecked (our dataset) vs. those in CheckThat ’21 .