[论文解读] Label Noise-Resistant Mean Teaching for Weakly Supervised Fake News Detection

Jingyi Xie, Jiawei Liu+1 more|arXiv (Cornell University)|Jun 10, 2022

Misinformation and Its Impacts被引用 5

一句话总结

本文提出了一种新型弱监督虚假新闻检测方法——标签噪声鲁棒均值教学（LNMT），该方法利用用户反馈评论生成并优化弱标签。通过将语义和情感相关性建模与包含标签传播和可靠性估计的均值教师框架相结合，LNMT显著降低了弱标签中的噪声，并在真实世界数据集上实现了最先进性能。

ABSTRACT

Fake news spreads at an unprecedented speed, reaches global audiences and poses huge risks to users and communities. Most existing fake news detection algorithms focus on building supervised training models on a large amount of manually labeled data, which is expensive to acquire or often unavailable. In this work, we propose a novel label noise-resistant mean teaching approach (LNMT) for weakly supervised fake news detection. LNMT leverages unlabeled news and feedback comments of users to enlarge the amount of training data and facilitates model training by generating refined labels as weak supervision. Specifically, LNMT automatically assigns initial weak labels to unlabeled samples based on semantic correlation and emotional association between news content and the comments. Moreover, in order to suppress the noises in weak labels, LNMT establishes a mean teacher framework equipped with label propagation and label reliability estimation. The framework measures a weak label similarity matrix between the teacher and student networks, and propagates different valuable weak label information to refine the weak labels. Meanwhile, it exploits the consistency between the output class likelihood vectors of the two networks to evaluate the reliability of the weak labels and incorporates the reliability into model optimization to alleviate the negative effect of noisy weak labels. Extensive experiments show the superior performance of LNMT.

研究动机与目标

• 为解决监督学习中人工标注虚假新闻数据的高成本和稀缺性问题。
• 通过利用用户反馈评论作为弱监督来源，提升弱监督虚假新闻检测性能。
• 降低从用户评论中生成的噪声弱标签对模型性能的负面影响。
• 通过在均值教师框架中集成标签传播和可靠性估计，增强模型鲁棒性。

提出的方法

• 该方法使用基线模型，通过测量新闻内容与用户评论之间的语义相关性和情感关联性，自动为未标注新闻分配初始弱标签。
• 采用包含教师和学生网络的均值教师框架，两者具有相同架构但使用不同的学习率，以实现信息交互。
• 应用标签传播机制，基于弱标签预测的相似性，将教师网络中优化后的标签信息传递至学生网络。
• 标签可靠性估计通过评估教师与学生网络之间预测的一致性，对优化过程中不可靠的弱标签赋予较低权重。
• 框架联合优化学生网络，同时利用标注数据和优化后的弱标签，并采用可靠性感知损失以抑制噪声样本。
• 基线模型集成了情感感知编码器，以捕捉用户反馈中的情感关联，从而增强特征表示。

实验结果

研究问题

• RQ1 用户反馈评论能否被有效利用以生成可靠的弱标签用于虚假新闻检测？
• RQ2 如何利用深度学习框架减轻弱监督虚假新闻检测中的标签噪声？
• RQ3 集成语义和情感相关性在多大程度上能提升弱标签质量？
• RQ4 包含标签传播和可靠性估计的均值教师框架是否优于现有弱监督方法？

主要发现

• 在所有设置（监督学习、半监督学习和弱监督学习）下，LNMT在微信数据集上的各项指标——准确率、AUC-ROC、精确率、召回率和F1值——均达到最优表现。
• 在弱监督设置下，LNMT相较表现第二好的方法WeFEND，准确率提升2.7%，AUC-ROC提升2.8%。
• 消融实验表明，若移除情感感知编码器，准确率下降1.3%，AUC-ROC下降1.2%，证实其对特征质量的贡献。
• 与无标签传播的基线均值教师框架相比，引入标签传播使准确率提升1.3%，AUC-ROC提升1.4%。
• 标签可靠性估计进一步将准确率提升1.8%，AUC-ROC提升1.7%，证明其在抑制噪声标签方面的有效性。
• LNMT的半监督变体相较表现第二好的方法（CNN+Semi）在准确率上提升4.2%，AUC-ROC提升0.3%。