[论文解读] BeCAPTCHA-Mouse: Synthetic Mouse Trajectories and Improved Bot Detection

Alejandro Acien, Aythami Morales+2 more|arXiv (Cornell University)|May 2, 2020

User Authentication and Security Systems被引用 5

一句话总结

BeCAPTCHA-Mouse 提出了一种新颖的机器人检测系统，利用合成鼠标轨迹和神经运动特征，仅通过一次鼠标轨迹即可实现93%的平均准确率，有效区分人类与机器人。该方法结合了基于函数的方法与基于生成对抗网络（GAN）的方法，生成逼真的类人鼠标轨迹，提升了检测的鲁棒性，并在融合现有特征后，检测性能超越当前最先进方法超过36%。

ABSTRACT

We first study the suitability of behavioral biometrics to distinguish between computers and humans, commonly named as bot detection. We then present BeCAPTCHA-Mouse, a bot detector based on: i) a neuromotor model of mouse dynamics to obtain a novel feature set for the classification of human and bot samples; and ii) a learning framework involving real and synthetically generated mouse trajectories. We propose two new mouse trajectory synthesis methods for generating realistic data: a) a function-based method based on heuristic functions, and b) a data-driven method based on Generative Adversarial Networks (GANs) in which a Generator synthesizes human-like trajectories from a Gaussian noise input. Experiments are conducted on a new testbed also introduced here and available in GitHub: BeCAPTCHA-Mouse Benchmark; useful for research in bot detection and other mouse-based HCI applications. Our benchmark data consists of 15,000 mouse trajectories including real data from 58 users and bot data with various levels of realism. Our experiments show that BeCAPTCHA-Mouse is able to detect bot trajectories of high realism with 93% of accuracy in average using only one mouse trajectory. When our approach is fused with state-of-the-art mouse dynamic features, the bot detection accuracy increases relatively by more than 36%, proving that mouse-based bot detection is a fast, easy, and reliable tool to complement traditional CAPTCHA systems.

研究动机与目标

• 探究鼠标动态作为行为生物特征在机器人检测中的可行性。
• 为机器人检测与基于鼠标的人机交互研究建立新的基准数据集。
• 生成逼真的合成鼠标轨迹，以提升机器人检测器的训练与评估效果。
• 设计一种结合真实与合成轨迹的学习框架，实现鲁棒分类。
• 评估神经运动特征与深度学习模型在区分人类与机器人行为方面的性能。

提出的方法

• 基于Sigma-Lognormal模型提出一种神经运动特征表示方法，以捕捉人类运动的动态特征，如加速度与减速度。
• 提出一种基于函数的方法，通过从观测到的人类运动模式中提取的启发式函数，合成鼠标轨迹。
• 开发一种基于GAN的方法，其中生成器从高斯噪声生成类人轨迹，并在真实人类数据上进行训练。
• 采用混合学习框架，在真实与合成轨迹上联合训练分类器，以提升泛化能力与鲁棒性。
• 使用随机森林与LSTM分类器评估性能，并通过消融研究评估模型对训练数据规模的敏感性。
• 将BeCAPTCHA-Mouse特征与当前最先进鼠标动态特征进行融合，以提升整体检测准确率。

实验结果

研究问题

• RQ1 鼠标动态是否能有效区分在线交互中的人类与机器人行为？
• RQ2 合成鼠标轨迹在提升机器人检测系统泛化能力与鲁棒性方面有多有效？
• RQ3 神经运动特征在检测高度逼真的机器人时表现如何，尤其是在高 realism 情况下？
• RQ4 BeCAPTCHA-Mouse特征与现有特征融合后，如何提升整体检测准确率？
• RQ5 当真实机器人数据稀缺时，GAN判别器本身能否作为强效的机器人检测器？

主要发现

• BeCAPTCHA-Mouse 仅使用单条鼠标轨迹即可实现93%的平均检测准确率，即使面对高度逼真的机器人也表现良好。
• 当与当前最先进鼠标动态特征融合后，检测准确率相对提升超过36%。
• 随机森林在训练数据有限时表现优于LSTM网络，且在机器人样本稀缺时仍保持鲁棒性。
• 仅使用GAN判别器即可在未见机器人样本上表现优于许多深度学习模型，表明其具备强大的检测能力。
• 所提出的基准数据集BeCAPTCHA-Mouse Benchmark 包含来自58名用户的15,000条轨迹及多种机器人类型，支持全面评估。
• 神经运动特征集成功捕捉了关键的人类运动模式，如初始加速、末段减速以及精细轨迹修正。