[论文解读] HOFA: Twitter Bot Detection with Homophily-Oriented Augmentation and Frequency Adaptive Attention

Sen Ye, Zhaoxuan Tan+5 more|arXiv (Cornell University)|Jun 22, 2023

Spam and Phishing DetectionComputer Science被引用 3

一句话总结

HOFA 提出了一种基于图的 Twitter 垃圾账户检测框架，通过同质性导向的图增强（Homo-Aug）和频率自适应注意力机制（FaAt），有效应对同质性伪装挑战——即垃圾账户通过关注真实用户来逃避检测。该方法在三个基准数据集上达到最先进性能，显著优于现有的基于图的方法和异质性基线方法。

ABSTRACT

Twitter bot detection has become an increasingly important and challenging task to combat online misinformation, facilitate social content moderation, and safeguard the integrity of social platforms. Though existing graph-based Twitter bot detection methods achieved state-of-the-art performance, they are all based on the homophily assumption, which assumes users with the same label are more likely to be connected, making it easy for Twitter bots to disguise themselves by following a large number of genuine users. To address this issue, we proposed HOFA, a novel graph-based Twitter bot detection framework that combats the heterophilous disguise challenge with a homophily-oriented graph augmentation module (Homo-Aug) and a frequency adaptive attention module (FaAt). Specifically, the Homo-Aug extracts user representations and computes a k-NN graph using an MLP and improves Twitter's homophily by injecting the k-NN graph. For the FaAt, we propose an attention mechanism that adaptively serves as a low-pass filter along a homophilic edge and a high-pass filter along a heterophilic edge, preventing user features from being over-smoothed by their neighborhood. We also introduce a weight guidance loss to guide the frequency adaptive attention module. Our experiments demonstrate that HOFA achieves state-of-the-art performance on three widely-acknowledged Twitter bot detection benchmarks, which significantly outperforms vanilla graph-based bot detection techniques and strong heterophilic baselines. Furthermore, extensive studies confirm the effectiveness of our Homo-Aug and FaAt module, and HOFA's ability to demystify the heterophilous disguise challenge.

研究动机与目标

• 为应对垃圾账户通过关注大量真实用户来逃避检测的日益增长的威胁，这种策略被称为异质性伪装。
• 克服现有基于图的垃圾账户检测方法的局限性，这些方法依赖同质性假设，并因邻域平均导致特征过平滑。
• 设计一种框架，能够基于边类型自适应地过滤信息——在同质性边上应用低通滤波，在异质性边上应用高通滤波。
• 通过引入权重引导损失来监督频率自适应注意力机制，提升模型的鲁棒性和泛化能力。
• 通过在标准 Twitter 垃圾账户检测数据集上进行广泛的消融实验和基准测试，验证所提组件的有效性。

提出的方法

• Homo-Aug 通过使用多层感知机（MLP）提取用户表征，计算 k-最近邻（k-NN）图，实现图数据增强，从而增强图的同质性并减少异质性连接的影响。
• FaAt 模块应用一种注意力机制，自适应地在同质性边上作为低通滤波器（平滑特征），在异质性边上作为高通滤波器（保留差异性），以防止垃圾账户特征的过平滑。
• 注意力权重通过一个可学习的频率响应函数学习，该函数基于节点表征相似性，区分同质性边与异质性边。
• 引入权重引导损失（WeGL）以监督 FaAt 模块，鼓励其为对区分垃圾账户与真实用户至关重要的边分配更高的注意力。
• 该框架采用两阶段训练流程：首先训练 Homo-Aug 模块以生成增强图，然后微调基于 FaAt 的图神经网络以完成最终的垃圾账户分类。
• 用户表征通过预训练语言模型（PLM）编码，最终的图神经网络层通过频率自适应注意力机制聚合特征，生成最终预测。

Figure 1. An example of heterophilous disguise where a bot account follows a vast majority of genuine users and the suspicious features are smoothed by neighboring genuine users’ normal features.

实验结果

研究问题

• RQ1 基于图的垃圾账户检测模型是否能有效检测那些通过关注大量真实用户来伪装自己（即异质性伪装）的垃圾账户，即使其依赖同质性假设？
• RQ2 同质性导向的图增强在多大程度上能提升图神经网络在垃圾账户检测中对异质性边干扰的鲁棒性？
• RQ3 频率自适应注意力机制是否能根据边类型（同质性 vs. 异质性）动态调整滤波行为，从而减少垃圾账户特征的过平滑？
• RQ4 集成权重引导损失如何提升注意力机制区分真实账户与垃圾账户的能力？
• RQ5 所提出的 HOFA 框架是否在多个基准数据集上优于现有的基于图的方法和异质性基线方法，展现出更好的泛化能力？

主要发现

• HOFA 在三个广泛使用的 Twitter 垃圾账户检测基准上达到最先进性能：TwiBot-20、MGTAB-22 和另一个未命名基准，其中在 TwiBot-20 上准确率达到 82.29%，在 MGTAB-22 上达到 88.68%。
• 消融研究显示，移除 Homo-Aug 模块后，TwiBot-20 上准确率下降 0.36%，MGTAB-22 上下降 0.25%，证实其在提升图同质性方面起着关键作用。
• 将 FaAt 替换为普通注意力或平均池化，导致 MGTAB-22 上 F1 分数显著下降 4.14%，证明了频率自适应滤波的优越性。
• 移除权重引导损失（WeGL）后，TwiBot-20 上 F1 分数下降 0.95%，MGTAB-22 上下降 0.98%，证明其在引导注意力机制方面的有效性。
• 垃圾账户对之间的注意力权重始终为正（表明低通滤波），而垃圾账户与真实用户之间的注意力权重为负（表明高通滤波），验证了 FaAt 的自适应行为。
• 模型成功缓解了异质性伪装挑战，表现为注意力机制即使在垃圾账户被真实用户包围的情况下，仍能保留其区分性特征。

Figure 2. Distribution of bots’ individual homophily and GCN’s accuracy on MGTAB-22 (Shi et al . , 2023a ) .