[论文解读] Better Safe Than Sorry: An Adversarial Approach to Improve Social Bot Detection

Stefano Cresci, Marinella Petrocchi+2 more|arXiv (Cornell University)|Apr 10, 2019

Spam and Phishing Detection参考文献 50被引用 15

一句话总结

本文提出 GenBot，一种新颖的遗传算法，通过操纵用户行为的数字DNA表示来合成进化后的社交机器人，以规避最先进的检测系统。结果表明，高达79%的这些合成机器人可逃避检测，揭示了系统漏洞，并可通过对抗性模拟主动提升检测模型的鲁棒性。

ABSTRACT

The arm race between spambots and spambot-detectors is made of several cycles (or generations): a new wave of spambots is created (and new spam is spread), new spambot filters are derived and old spambots mutate (or evolve) to new species. Recently, with the diffusion of the adversarial learning approach, a new practice is emerging: to manipulate on purpose target samples in order to make stronger detection models. Here, we manipulate generations of Twitter social bots, to obtain - and study - their possible future evolutions, with the aim of eventually deriving more effective detection techniques. In detail, we propose and experiment with a novel genetic algorithm for the synthesis of online accounts. The algorithm allows to create synthetic evolved versions of current state-of-the-art social bots. Results demonstrate that synthetic bots really escape current detection techniques. However, they give all the needed elements to improve such techniques, making possible a proactive approach for the design of social bot detection systems.

研究动机与目标

• 通过预测未来机器人演化，解决当前社交机器人检测的被动性问题。
• 开发一种主动框架，用于在真实世界中出现前模拟和研究社交机器人的行为演化。
• 通过识别演化机器人逃避检测的模式和特征，提升检测系统的鲁棒性。
• 通过生成合成的、逼真的机器人数据集，支持检测系统的再训练与微调。
• 通过将演化技术应用于行为建模，弥合对抗性机器学习与社交机器人检测之间的差距。

提出的方法

• 将在线账户的行为生命周期表示为数字DNA序列——即编码时间顺序操作序列的字符字符串。
• 设计一种定制的遗传算法（GenBot），用于演化这些数字DNA序列，使其模仿合法用户的行为。
• 定义适应度函数，通过统计和熵基度量最小化演化机器人与真实人类账户之间的行为距离。
• 应用进化算子（选择、交叉、变异）生成具有类人行为模式的新一代合成机器人。
• 对演化过程施加约束，使生成的机器人能够执行特定恶意任务（如大规模转发、发布垃圾信息），同时保持低可检测性。
• 基于行为、内容和网络特征，对演化后的机器人在三种最先进的检测系统上进行评估。

实验结果

研究问题

• RQ1 我们能否开发一种基于数字DNA和遗传算法的分析框架，用于模拟垃圾机器人演化？
• RQ2 我们能否利用该框架生成新一代的垃圾机器人，使其行为与合法账户难以区分？
• RQ3 这些演化后的垃圾机器人是否能够规避当前最先进的检测技术？
• RQ4 能否利用这些合成的、演化的机器人所提供的洞见，来提升现有检测系统的鲁棒性？

主要发现

• 高达79%的合成演化社交机器人成功规避了主流基于行为的检测系统。
• 这些演化机器人在关键指标（如事件间时间分布和操作序列熵）上表现出与合法用户无异的行为模式。
• 特定特征——尤其是数字DNA序列中的熵——成为合成机器人行为的强指示信号，从而可有效检测演化机器人。
• 数字DNA表示法实现了有效的行为建模与演化模拟，其在生成类人行为机器人方面优于以往尝试。
• 该方法揭示了当前检测系统中的关键漏洞，表明对抗性演化可在真实部署前暴露系统弱点。
• 该框架可生成多样化、逼真的合成数据集，用于再训练和加固检测模型，以应对未来的机器人威胁。