[论文解读] The Rise of Guardians: Fact-checking URL Recommendation to Combat Fake News

Nguyen Vo, Kyumin Lee|arXiv (Cornell University)|Jun 20, 2018

Misinformation and Its Impacts参考文献 57被引用 31

一句话总结

本文提出了一种新颖的事实核查URL推荐模型GAU（Guardian-Aware Utility），以增强在线用户——即主动更正虚假信息并分享经验证的事实核查链接的用户，称为“守护者”——的参与度。通过利用社交网络结构、URL内容以及守护者的近期推文活动，GAU在关键指标上相比四种最先进模型提升了11%至33%，显著促进了可信信息的传播，以应对虚假新闻。

ABSTRACT

A large body of research work and efforts have been focused on detecting fake news and building online fact-check systems in order to debunk fake news as soon as possible. Despite the existence of these systems, fake news is still wildly shared by online users. It indicates that these systems may not be fully utilized. After detecting fake news, what is the next step to stop people from sharing it? How can we improve the utilization of these fact-check systems? To fill this gap, in this paper, we (i) collect and analyze online users called guardians, who correct misinformation and fake news in online discussions by referring fact-checking URLs; and (ii) propose a novel fact-checking URL recommendation model to encourage the guardians to engage more in fact-checking activities. We found that the guardians usually took less than one day to reply to claims in online conversations and took another day to spread verified information to hundreds of millions of followers. Our proposed recommendation model outperformed four state-of-the-art models by 11%~33%. Our source code and dataset are available at https://github.com/nguyenvo09/CombatingFakeNews.

研究动机与目标

• 识别并分析在社交媒体讨论中通过分享事实核查URL主动更正虚假信息的在线用户——即‘守护者’。
• 解决尽管已有事实核查系统，但其利用率仍不足的问题。
• 开发一种个性化推荐模型，以激励守护者更频繁且更有效地分享经验证的URL。
• 通过聚焦已表现出对可信度验证兴趣的活跃用户，提升事实核查工作的可扩展性和影响力。

提出的方法

• 作者收集并分析了来自Twitter的守护者数据集，这些用户曾在虚假声明出现后直接发布或转发事实核查URL。
• 他们提出了GAU模型，该模型整合了三种辅助信号：社交网络结构、事实核查URL的内容以及守护者的近期推文活动。
• GAU通过可学习的超参数α、β和γ对这些信号进行加权组合，以实现个性化URL推荐。
• 该模型使用带负采样的成对排序损失进行训练，以优化推荐的相关性与多样性。
• 它采用带辅助特征的矩阵分解方法，基于协同过滤预测某URL对某位守护者的效用，同时结合上下文与社交特征进行增强。
• 通过网格搜索进行超参数调优，以在召回率、NDCG和MAP指标上最大化性能。

实验结果

研究问题

• RQ1 在在线讨论中，‘守护者’——即通过分享事实核查URL更正虚假信息的用户——表现出怎样的行为？
• RQ2 个性化推荐模型能否有效激励守护者分享更多经验证的事实核查URL？
• RQ3 整合社交网络结构、URL内容和用户行为如何提升事实核查URL推荐的性能？
• RQ4 所提出的模型在不同活跃度水平的守护者（冷启动、温启动、高度活跃）中是否具备泛化能力？
• RQ5 模型性能对超参数α、β和γ的选择有多敏感？

主要发现

• GAU在所有评估指标上均比四种最先进基线模型（MF、CoFactor、BPRMF和CTR）提升11%至33%。
• GAU的MAP达到32.6%±3.4%，显著优于CoFactor的29.2%±5.8% NDCG和32.6%±3.4% MAP（p值 < 0.001）。
• 对于冷启动守护者，与CTR相比，GAU将Recall@15提升6.5%，NDCG@15提升10.2%，MAP@15提升12.8%。
• 对于高度活跃的守护者，GAU将Recall@15提升最多达10.0%，NDCG@15提升最多达15.0%，MAP@15提升最多达20.1%。
• 最优超参数为α=0.06，β=0.08，γ=0.06，性能在这些值处达到峰值。
• 该模型在所有守护者活跃度水平下均表现出一致的性能提升，表明其具备鲁棒性与泛化能力。