[论文解读] Jointly embedding the local and global relations of heterogeneous graph for rumor detection

Chunyuan Yuan, Qianwen Ma+3 more|arXiv (Cornell University)|Sep 10, 2019

Misinformation and Its Impacts参考文献 33被引用 8

一句话总结

本文提出 GLAN，一种新型图神经网络，通过在源微博和转发微博上使用多头注意力机制联合建模局部语义关系，并通过用户、微博和转发构成的异构图建模全局结构关系，实现谣言检测。GLAN 显著优于当前最先进模型，在微博数据集上达到 94% 的准确率，在 Twitter 数据集上于传播仅 4 小时内即达到 88–90% 的准确率，展现出卓越的早期检测性能。

ABSTRACT

The development of social media has revolutionized the way people communicate, share information and make decisions, but it also provides an ideal platform for publishing and spreading rumors. Existing rumor detection methods focus on finding clues from text content, user profiles, and propagation patterns. However, the local semantic relation and global structural information in the message propagation graph have not been well utilized by previous works. In this paper, we present a novel global-local attention network (GLAN) for rumor detection, which jointly encodes the local semantic and global structural information. We first generate a better integrated representation for each source tweet by fusing the semantic information of related retweets with the attention mechanism. Then, we model the global relationships among all source tweets, retweets, and users as a heterogeneous graph to capture the rich structural information for rumor detection. We conduct experiments on three real-world datasets, and the results demonstrate that GLAN significantly outperforms the state-of-the-art models in both rumor detection and early detection scenarios.

研究动机与目标

• 解决现有谣言检测方法无法同时利用社交媒体传播中的局部语义上下文与全局结构模式的局限性。
• 通过统一的图表示捕捉源微博、转发微博与用户之间的潜在关系，提升早期谣言检测能力。
• 通过从文本与网络结构端到端学习表示，减少对手工设计特征的依赖。
• 同时建模局部上下文信息（通过转发微博上的注意力机制）与全局图结构（通过异构图注意力机制）。
• 在传播数据有限的实时谣言检测场景中，提升模型的鲁棒性与性能。

提出的方法

• 构建一个异构图，将源微博、转发微博、用户及其交互关系（如转发、共同参与）作为节点，关系作为边。
• 应用多头注意力机制，融合源微博及其关联转发微博的语义特征，生成更丰富的局部表示。
• 使用全局图注意力机制编码异构图中所有节点之间的结构依赖关系，捕捉长距离相关性。
• 在真实社交媒体数据上，使用交叉熵损失进行端到端训练，实现二分类谣言检测。
• 在卷积层中集成多种卷积核大小（3, 4, 5），以捕捉微博文本中的多样化 n-gram 特征。
• 采用控制变量法评估超参数敏感性，尤其关注微博长度与卷积核大小的影响。

实验结果

研究问题

• RQ1 联合建模来自转发微博的局部语义上下文与来自异构图的全局结构模式，能否提升谣言检测性能？
• RQ2 在转发微博上引入多头注意力机制，如何增强对源微博的局部表示学习？
• RQ3 将完整的传播图建模为异构网络，在多大程度上能提升早期检测的准确率？
• RQ4 该方法在传播时间有限且数据存在噪声的早期谣言检测场景中，表现如何？
• RQ5 为实现最大检测性能，超参数（如卷积核大小与微博长度）的最优配置是什么？

主要发现

• GLAN 在 Weibo 数据集上达到 94% 的准确率，在 Twitter15 与 Twitter16 数据集上于传播仅 4 小时内即达到 88–90% 的准确率，显著优于所有基线模型。
• 即使在长达 12 小时的延迟下，模型仍保持强劲性能，表明其对数据噪声与随时间增加的结构复杂性具有鲁棒性。
• 采用多种卷积核大小（3, 4, 5）时性能最佳，表明多样化的感受野能捕捉更具判别性的短语。
• 性能随微博长度增加至某一临界点而提升，证实充分的文本上下文对准确分类至关重要。
• 4 小时延迟的模型性能优于使用全部可用数据的树基基线模型，证明其具备卓越的早期检测能力。
• 局部注意力与全局图注意力机制的融合带来显著性能提升，验证了联合建模的有效性。