[论文解读] Leveraging Multi-Source Weak Social Supervision for Early Detection of Fake News

Kai Shu, Guo‐qing Zheng+5 more|arXiv (Cornell University)|Apr 3, 2020

Misinformation and Its Impacts被引用 43

一句话总结

论文提出 MWSS，一种元学习框架，能够在预测时不使用社交特征的情况下，联合利用有限的干净标签与多种弱社会监督信号来及早检测假新闻。

ABSTRACT

Social media has greatly enabled people to participate in online activities at an unprecedented rate. However, this unrestricted access also exacerbates the spread of misinformation and fake news online which might cause confusion and chaos unless being detected early for its mitigation. Given the rapidly evolving nature of news events and the limited amount of annotated data, state-of-the-art systems on fake news detection face challenges due to the lack of large numbers of annotated training instances that are hard to come by for early detection. In this work, we exploit multiple weak signals from different sources given by user and content engagements (referred to as weak social supervision), and their complementary utilities to detect fake news. We jointly leverage the limited amount of clean data along with weak signals from social engagements to train deep neural networks in a meta-learning framework to estimate the quality of different weak instances. Experiments on realworld datasets demonstrate that the proposed framework outperforms state-of-the-art baselines for early detection of fake news without using any user engagements at prediction time.

研究动机与目标

• 解决在有限标注数据下进行早期假新闻检测的挑战。
• 利用来自用户互动的多种弱监督信号。
• 开发一个元学习框架，用于估计弱标签的质量/权重。
• 训练一个受益于干净数据与弱监督的假新闻分类器。
• 在预测阶段无需依赖社交上下文即可实现强性能。

提出的方法

• 提出 MWSS，一种具有共享内容编码器和面向干净信号与弱信号的源特定预测头的框架。
• 实现一个标签权重网络（LWN），根据实例表示和弱标签嵌入为弱标签分配权重。
• 构建一个双层优化，其中外层优化 LWN 以提升干净数据的验证性能。
• 使用联合损失，结合干净数据损失和来自多个弱源的加权弱标签损失。
• 为元参数更新采用一步 SGD 近似，并使用 Adam 进行训练。
• 通过情感、偏见和可信度信号从社交互动中构建弱标签并评估其质量。

实验结果

研究问题

• RQ1 MWSS 是否能通过利用多种弱社交监督信号来提升假新闻分类性能？
• RQ2 不同的弱监督信号如何对性能产生贡献，MWSS 对多种弱信号的鲁棒性如何？

主要发现

• 在 GossipCop 与 PolitiFact 的数据集上，MWSS 将干净数据与多源弱信号结合时，超过强基线。
• 单一弱信号比多源效果差；MWSS 受益于源特定映射和 LWN。
• MWSS 在所评估的方法中始终实现最佳统计结果，包括 L2R 与 Snorkel 基线。
• 基于 RoBERTa 的编码器通常优于 CNN 编码器，在使用干净+弱数据时，MWSS 仍然处于领先。
• 权重学习机制对更干净的信号赋予更高重要性，并在弱源之间显现互补信息。
• 更高的干净数据相对于弱数据的比例可以提升 MWSS 和其他基线的性能。