[论文解读] BeCAPTCHA: Detecting Human Behavior in Smartphone Interaction using Multiple Inbuilt Sensors

Alejandro Acien, Aythami Morales+3 more|arXiv (Cornell University)|Feb 3, 2020

User Authentication and Security Systems参考文献 31被引用 9

一句话总结

本文提出 BeCAPTCHA，一种新型 CAPTCHA 机制，利用来自 600 名用户的 14 种内置传感器收集的多模态智能手机传感器数据，检测拖放交互过程中的用户行为。通过使用传感器融合分析细微的行为模式，并评估生成的和手工构造的攻击样本，该方法在区分人类与机器人方面表现出高准确率，展示了移动传感器数据在下一代行为生物识别与机器人检测中的潜力。

ABSTRACT

We introduce a novel multimodal mobile database called HuMIdb (Human Mobile Interaction database) that comprises 14 mobile sensors acquired from 600 users. The heterogeneous flow of data generated during the interaction with the smartphones can be used to model human behavior when interacting with the technology. Based on this new dataset, we explore the capacity of smartphone sensors to improve bot detection. We propose a CAPTCHA method based on the analysis of the information obtained during a single drag and drop task. We evaluate the method generating fake samples synthesized with Generative Adversarial Neural Networks and handcrafted methods. Our results suggest the potential of mobile sensors to characterize the human behavior and develop a new generation of CAPTCHAs.

研究动机与目标

• 开发一种新型 CAPTCHA 系统，利用智能手机传感器数据区分人类用户与自动化机器人。
• 创建一个全面的多模态移动交互数据库（HuMIdb），捕捉 600 名用户来自 14 种内置传感器的数据。
• 评估基于传感器的行为检测方法对合成（GAN 生成）和手工构造的机器人攻击的鲁棒性。
• 探索利用细粒度人类交互模式作为安全且用户友好的认证机制基础的可行性。

提出的方法

• 作者在标准化的拖放交互任务中，从 600 名参与者处收集了大规模数据集（HuMIdb），涵盖 14 种智能手机传感器数据。
• 从传感器流中提取时间与空间特征，包括加速度计、陀螺仪、触摸和接近传感器数据，以建模人类行为模式。
• 设计了一种多模态分类框架，融合来自多个传感器的特征，提升对人类与机器人行为的区分能力。
• 通过使用生成对抗网络（GAN）生成的合成攻击样本，模拟对抗性机器人行为，对方法进行了评估。
• 在真实条件下测试系统，包括设备型号和用户人口统计学特征的差异，以评估泛化能力与鲁棒性。
• 基于行为特征签名实现了一种类似 CAPTCHA 的挑战，要求用户完成拖放任务以捕获独特的传感器模式。

实验结果

研究问题

• RQ1 智能手机传感器数据能否有效用于建模和检测移动交互过程中的用户行为模式？
• RQ2 14 种内置传感器的传感器融合相比单传感器方法，在提升机器人检测准确率方面有何改进？
• RQ3 GAN 生成的合成攻击样本在类似 CAPTCHA 的环境中在多大程度上能真实模拟人类行为？
• RQ4 在真实世界条件下，该方法对人工构造和 GAN 合成的机器人攻击的鲁棒性如何？
• RQ5 能否仅使用标准智能手机传感器设计一种既安全又用户友好的基于行为的 CAPTCHA？

主要发现

• 所提出的 BeCAPTCHA 系统在利用多模态传感器数据区分人类用户与机器人生成的交互方面表现出高检测准确率。
• 传感器融合显著提升了检测性能，优于单传感器基线方法，在识别细微行为差异方面表现更优。
• GAN 生成的攻击样本有效模拟了真实的机器人行为，验证了模型在对抗性条件下的鲁棒性。
• 该系统在不同智能手机型号和用户人口统计学特征下表现出强大的泛化能力，表明其具备实际可部署性。
• 结果证实，通过内置传感器捕获的细粒度人类交互模式可作为认证与机器人检测的可靠生物特征。