[论文解读] BotMoE: Twitter Bot Detection with Community-Aware Mixtures of Modal-Specific Experts

Yuhan Liu, Zhaoxuan Tan+4 more|arXiv (Cornell University)|Apr 13, 2023

Misinformation and Its Impacts被引用 4

一句话总结

BotMoE 提出了一种社区感知的专家混合框架，联合建模元数据、文本内容和图结构，以检测欺骗性 Twitter 机器人。通过使用模态特定的编码器和社区感知的 MoE 层，它提升了模型的泛化能力和鲁棒性，在三个基准测试中实现了最先进性能，同时更好地应对了特征篡改和多样化社区的挑战。

ABSTRACT

Twitter bot detection has become a crucial task in efforts to combat online misinformation, mitigate election interference, and curb malicious propaganda. However, advanced Twitter bots often attempt to mimic the characteristics of genuine users through feature manipulation and disguise themselves to fit in diverse user communities, posing challenges for existing Twitter bot detection models. To this end, we propose BotMoE, a Twitter bot detection framework that jointly utilizes multiple user information modalities (metadata, textual content, network structure) to improve the detection of deceptive bots. Furthermore, BotMoE incorporates a community-aware Mixture-of-Experts (MoE) layer to improve domain generalization and adapt to different Twitter communities. Specifically, BotMoE constructs modal-specific encoders for metadata features, textual content, and graphical structure, which jointly model Twitter users from three modal-specific perspectives. We then employ a community-aware MoE layer to automatically assign users to different communities and leverage the corresponding expert networks. Finally, user representations from metadata, text, and graph perspectives are fused with an expert fusion layer, combining all three modalities while measuring the consistency of user information. Extensive experiments demonstrate that BotMoE significantly advances the state-of-the-art on three Twitter bot detection benchmarks. Studies also confirm that BotMoE captures advanced and evasive bots, alleviates the reliance on training data, and better generalizes to new and previously unseen user communities.

研究动机与目标

• 为应对高级 Twitter 机器人通过操纵元数据、文本和网络特征以逃避检测的挑战。
• 提升模型在不同 Twitter 用户社区中的泛化能力，这些社区中机器人行为存在显著差异。
• 通过多模态融合提升数据效率，减少对大规模标注训练数据的依赖。
• 开发一种更具鲁棒性的检测框架，能够适应未见过的社区并抵御复杂机器人伪装。

提出的方法

• BotMoE 使用三个模态特定的编码器，独立处理用户元数据、文本内容和图结构。
• 一种社区感知的专家混合（MoE）层根据用户的结构和行为特征，动态将用户路由到特定社区的专家网络。
• 每个专家网络专注于检测特定社区内的机器人模式，从而提升局部检测准确率和领域适应能力。
• 一个专家融合层结合所有模态的表示，并通过测量跨模态一致性来增强检测可靠性。
• 该模型采用一种路由机制，学习根据从图结构中提取的社区嵌入，将用户分配给最相关的专家。
• 该框架通过对比损失端到端训练，以促进多模态表示对齐，提升泛化能力。

实验结果

研究问题

• RQ1 多模态、社区感知的模型是否能优于现有的单模态或双模态方法，在检测高级 Twitter 机器人方面表现更优？
• RQ2 在推理过程中，社区感知的 MoE 层在适应之前未见过的用户社区方面效果如何？
• RQ3 该模型在保持高检测准确率的同时，能在多大程度上减少对大规模标注训练数据的依赖？
• RQ4 不同模态（文本、元数据、图）对检测的贡献如何？模型能否识别出最具信息量的特征？
• RQ5 特征篡改对模型性能有何影响？BotMoE 通过多模态一致性建模在多大程度上能抵抗逃避攻击？

主要发现

• BotMoE 在三个主要的 Twitter 机器人检测基准测试中实现了最先进性能，F1 分数和 AUC 均显著优于先前方法。
• 该模型在新出现的、此前未见过的用户社区中表现出卓越的泛化能力，表明其具备强大的领域适应能力。
• 大量消融实验确认，社区感知的 MoE 层和专家融合机制对性能至关重要，尤其是在应对特征篡改方面。
• 融合层的注意力权重显示，元数据和图特征的贡献比文本更可靠，凸显了多模态一致性的重要性。
• 该模型通过利用结构和元数据线索，即使在文本内容具有误导性或被真实用户盗用时，也能有效降低误报率。
• 该框架展现出更高的数据效率，在有限标注数据下仍能保持高性能，这对实际部署至关重要。