[论文解读] Heterogeneity-aware Twitter Bot Detection with Relational Graph Transformers

Shangbin Feng, Zhaoxuan Tan+2 more|arXiv (Cornell University)|Sep 7, 2021

Misinformation and Its Impacts被引用 11

一句话总结

该论文提出了一种利用关系图变压器建模用户互动网络中关系异质性和影响力异质性的异质性感知Twitter机器人检测框架。通过构建异质信息网络并利用关系图变压器中的多头注意力机制，该方法在基准数据集上实现了最先进性能，通过改进表示学习和对数据稀疏性的鲁棒性，超越了以往基于图和非基于图的方法。

ABSTRACT

Twitter bot detection has become an important and challenging task to combat misinformation and protect the integrity of the online discourse. State-of-the-art approaches generally leverage the topological structure of the Twittersphere, while they neglect the heterogeneity of relations and influence among users. In this paper, we propose a novel bot detection framework to alleviate this problem, which leverages the topological structure of user-formed heterogeneous graphs and models varying influence intensity between users. Specifically, we construct a heterogeneous information network with users as nodes and diversified relations as edges. We then propose relational graph transformers to model heterogeneous influence between users and learn node representations. Finally, we use semantic attention networks to aggregate messages across users and relations and conduct heterogeneity-aware Twitter bot detection. Extensive experiments demonstrate that our proposal outperforms state-of-the-art methods on a comprehensive Twitter bot detection benchmark. Additional studies also bear out the effectiveness of our proposed relational graph transformers, semantic attention networks and the graph-based approach in general.

研究动机与目标

• 解决现有Twitter机器人检测方法忽视社交网络中关系与影响力异质性的问题。
• 通过建模多样化的互动类型（例如，转发、点赞、屏蔽）和用户间不同的影响力强度，提升机器人检测性能。
• 开发一种端到端的基于图的框架，整合异质信息网络构建与基于注意力的消息传递机制，实现鲁棒检测。
• 验证关系图变压器与语义注意力网络在捕捉细微机器人行为方面的有效性。
• 在标注数据和特征有限的条件下，评估数据效率与表示质量。

提出的方法

• 构建一个异质信息网络（HIN），其中用户为节点，多样化的社交互动（例如，转发、回复、屏蔽）为带标签的边。
• 提出关系图变压器，利用多头自注意力机制建模用户间的异质影响力强度，学习与关系相关的注意力权重。
• 集成语义注意力网络，聚合用户与关系之间的消息，实现上下文感知的表示学习。
• 在标注的Twitter数据集上使用监督学习训练端到端模型，将账户分类为机器人或真实用户。
• 将关系图变压器生成的节点表示作为最终分类器的输入，用于机器人检测。
• 通过消融研究与可视化技术（例如，t-SNE、注意力权重分析）解释模型决策并验证设计选择。

实验结果

研究问题

• RQ1 建模关系异质性（例如，不同类型的互动，如转发与屏蔽）是否能提升Twitter机器人检测性能？
• RQ2 通过注意力机制引入影响力异质性，是否能增强模型检测机器人集群与协同行为的能力？
• RQ3 在检测准确率、鲁棒性与数据效率方面，该框架与最先进方法相比表现如何？
• RQ4 关系图变压器中的注意力权重在多大程度上反映了机器人行为与用户影响力中的有意义模式？
• RQ5 在数据稀疏情况下（如训练数据减少或用户特征被遮蔽），模型能否保持高性能？

主要发现

• 所提方法在全面的Twitter机器人检测基准上持续优于最先进基线模型，展现出更高的检测准确率。
• 消融研究证实，关系图变压器与语义注意力网络均至关重要，多头注意力相比单头或无注意力变体显著提升性能。
• 模型在仅使用40%训练数据时仍表现强劲，表明具有高数据效率并能有效应对标签稀缺问题。
• 注意力权重的可视化显示，处于协同集群中的机器人表现出更高的相互影响力得分，证实了模型检测基于群体的机器人行为的能力。
• t-SNE可视化表明，与基线方法相比，该模型学习到更具区分性且更清晰分离的真实用户与机器人表示。
• 在多次运行的前三个四分位数中，该方法均实现显著性能提升，表明在不同数据划分下检测结果具有一致性与可靠性。