[论文解读] BotGraph: Web Bot Detection Based on Sitemap

Yang Luo, Guozhen She+2 more|arXiv (Cornell University)|Mar 19, 2019

Network Security and Intrusion Detection参考文献 8被引用 4

一句话总结

BotGraph 提出了一种基于行为的机器人检测系统，将网络流量建模为基于站点地图的会话子图生成的二维图像，通过卷积神经网络（CNN）实现高精度检测。在真实生产环境数据上，其精度和召回率均达到约95%，有效识别机器人，且不依赖于易于伪造的身份特征（如UserAgent或IP地址）。

ABSTRACT

The web bots have been blamed for consuming large amount of Internet traffic and undermining the interest of the scraped sites for years. Traditional bot detection studies focus mainly on signature-based solution, but advanced bots usually forge their identities to bypass such detection. With increasing cloud migration, cloud providers provide new opportunities for an effective bot detection based on big data to solve this issue. In this paper, we present a behavior-based bot detection scheme called BotGraph that combines sitemap and convolutional neural network (CNN) to detect inner behavior of bots. Experimental results show that BotGraph achieves ~95% recall and precision on 35-day production data traces from different customers including the Bing search engine and several sites.

研究动机与目标

• 解决高级网络机器人检测的挑战，这些机器人可规避传统的基于身份的检测方法（如IP屏蔽或UserAgent过滤）。
• 开发一种适用于云服务提供商的通用、可扩展的机器人检测方案，以管理数以百万计异构网站。
• 利用网络流量中的行为模式——特别是URL访问序列与频率——作为强大且与身份无关的检测信号。
• 在传统方法因机器人指纹伪造而失效的高机器人流量环境中，提升检测精度。
• 证明基于图的会话建模结合深度学习能够有效区分机器人与合法用户。

提出的方法

• 使用三种方法为每个网站构建站点地图：静态文件解析、动态爬取，以及从访问日志中基于启发式方法推断。
• 将每个客户端会话映射为站点地图的一个子图，其中节点表示URL模式，边表示具有关联频率的访问转移。
• 使用URL访问模式与频率的空间编码，将每个会话子图转换为二维图像表示。
• 在这些二维图像上训练卷积神经网络（CNN），通过在标注的流量轨迹上使用监督学习对会话进行机器人或非机器人分类。
• 利用CNN的特征图学习会话行为中的判别性模式，避免依赖客户端信号或身份元数据。
• 优化推理性能，确保在生产环境中实现低延迟部署，并在GPU硬件上进行基准测试。

实验结果

研究问题

• RQ1 在真实世界、高流量环境中，基于行为的检测方法是否能优于基于身份的机器人检测？
• RQ2 在不使用IP地址或UserAgent字符串的情况下，基于会话子图二维图像训练的CNN模型在机器人检测中能否实现高精度与高召回率？
• RQ3 基于站点地图的图表示在捕捉不同网站中机器人与合法用户之间区分性行为模式方面的有效性如何？
• RQ4 在不同机器人与用户会话比例下，BotGraph模型的性能如何，特别是在低机器人流量场景下？
• RQ5 在不重新训练的情况下，该模型能否在不同行业和网站类型之间实现泛化，鉴于其依赖于结构化会话模式而非特定网站特征？

主要发现

• BotGraph在来自不同来源（包括Bing和多个客户网站）的35天真实生产数据轨迹上，实现了约95%的精度与召回率。
• 在机器人会话比例（BoS）≥49%的数据集中，BotGraph保持>95%的精度与召回率，表明其在高机器人环境中的强大性能。
• 即使在低机器人流量场景下（BoS < 10%），BotGraph仍实现>95%的精度与约70%的召回率，表明其在机器人行为分散时仍具鲁棒性。
• 当排除基于身份的特征（如ClientIP、UserAgent）时，该模型在性能上优于传统机器学习方法（如SVM、XGBoost、LSTM）。
• 误报与漏报主要出现在访问URL少于三个的会话中，此时机器人与人类的行为模式因交互过少而趋于收敛。
• 该系统在标准GPU硬件上引入的延迟极低，推理性能与典型互联网往返延迟（50–100 ms）相当。