[논문 리뷰] BeCAPTCHA-Mouse: Synthetic Mouse Trajectories and Improved Bot Detection

Alejandro Acien, Aythami Morales외 2명|arXiv (Cornell University)|2020. 05. 02.

User Authentication and Security Systems인용 수 5

한 줄 요약

BeCAPTCHA-Mouse는 인위적 마우스 경로와 신경운동 특징을 활용하여 단 한 개의 마우스 경로로도 인간과 봇을 93% 평균 정확도로 구분하는 새로운 봇 탐지 시스템을 제안한다. 기존 기능 기반 및 GAN 기반 방법을 조합하여 현실적인 인간 유사 경로를 생성함으로써 탐지 성능의 강건성을 향상시키며, 기존 특징과 융합했을 때 최신 기술 대비 36% 이상 높은 성능을 기록한다.

ABSTRACT

We first study the suitability of behavioral biometrics to distinguish between computers and humans, commonly named as bot detection. We then present BeCAPTCHA-Mouse, a bot detector based on: i) a neuromotor model of mouse dynamics to obtain a novel feature set for the classification of human and bot samples; and ii) a learning framework involving real and synthetically generated mouse trajectories. We propose two new mouse trajectory synthesis methods for generating realistic data: a) a function-based method based on heuristic functions, and b) a data-driven method based on Generative Adversarial Networks (GANs) in which a Generator synthesizes human-like trajectories from a Gaussian noise input. Experiments are conducted on a new testbed also introduced here and available in GitHub: BeCAPTCHA-Mouse Benchmark; useful for research in bot detection and other mouse-based HCI applications. Our benchmark data consists of 15,000 mouse trajectories including real data from 58 users and bot data with various levels of realism. Our experiments show that BeCAPTCHA-Mouse is able to detect bot trajectories of high realism with 93% of accuracy in average using only one mouse trajectory. When our approach is fused with state-of-the-art mouse dynamic features, the bot detection accuracy increases relatively by more than 36%, proving that mouse-based bot detection is a fast, easy, and reliable tool to complement traditional CAPTCHA systems.

연구 동기 및 목표

• 마우스 동작을 봇 탐지용 행동 생체정보로 활용할 수 있는지 탐색한다.
• 봇 탐지 및 마우스 기반 HCI 연구를 위한 새로운 벤치마크 데이터셋을 개발한다.
• 봇 탐지 모델의 훈련 및 평가를 향상시키기 위해 현실적인 인위적 마우스 경로를 생성한다.
• 실제 및 인위적 경로를 융합한 학습 프레임워크를 설계하여 강건한 분류 성능을 확보한다.
• 신경운동 특징과 딥러닝 모델이 인간과 봇 행동을 구분하는 데 얼마나 효과적인지 평가한다.

제안 방법

• 가속도 및 감속과 같은 인간 운동 동역학을 포착하기 위해 시그마-로그노멀 모델 기반의 신경운동 특징 표현을 제안한다.
• 관찰된 인간 이동 패턴에서 유도된 히우리스틱 함수를 사용해 기능 기반 방법으로 마우스 경로를 인위적으로 생성한다.
• 생성자 모델이 가우시안 노이즈에서 실질적인 인간 유사 경로를 생성하도록 훈련된 GAN 기반 방법을 개발한다.
• 실제 및 인위적 경로를 모두 활용해 분류기를 훈련하는 하이브리드 학습 프레임워크를 적용하여 일반화 능력과 강건성을 향상시킨다.
• 성능 평가를 위해 랜덤 포레스트 및 LSTM 분류기를 사용하며, 훈련 데이터 크기에 따른 모델 민감도를 분석하기 위한 아블레이션 스터디를 수행한다.
• BeCAPTCHA-Mouse 특징을 최신 기술의 마우스 동적 특징과 융합하여 종합적인 탐지 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 온라인 상호작용에서 마우스 동작이 인간과 봇 행동을 효과적으로 구분할 수 있는가?
• RQ2 인위적 마우스 경로가 봇 탐지 시스템의 일반화 능력과 강건성 향상에 얼마나 효과적인가?
• RQ3 특히 높은 현실성을 지닌 봇에 대해서도 신경운동 특징의 탐지 성능는 어떠한가?
• RQ4 BeCAPTCHA-Mouse 특징을 기존 특징과 융합했을 때 종합적인 탐지 정확도는 얼마나 향상되는가?
• RQ5 실제 봇 데이터가 부족한 상황에서 GAN의 판별자 자체가 강력한 봇 탐지기로 기능할 수 있는가?

주요 결과

• BeCAPTCHA-Mouse는 매우 현실적인 봇이라도 단일 마우스 경로로만 93% 평균 탐지 정확도를 달성한다.
• 최신 기술의 마우스 동적 특징과 융합했을 때, 탐지 정확도가 상대적으로 36% 이상 향상된다.
• 랜덤 포레스트는 특히 훈련 데이터가 제한된 경우 LSTM 네트워크를 능가하며, 봇 샘플이 적은 상황에서도 강건한 성능 유지를 보인다.
• GAN 판별자 자체가 새로운 봇 샘플에 대해 많은 딥러닝 모델보다 뛰어난 성능을 보이며, 강력한 탐지 능력을 지닌다는 것을 시사한다.
• 제안된 벤치마크인 BeCAPTCHA-Mouse Benchmark는 58명의 사용자와 다양한 유형의 봇으로부터 15,000개의 경로를 포함하여 종합적인 평가를 가능하게 한다.
• 신경운동 특징 세트는 초기 가속도, 최종 감속도, 정밀한 경로 보정과 같은 핵심 인간 이동 패턴을 효과적으로 포착한다.