[論文レビュー] BeCAPTCHA-Mouse: Synthetic Mouse Trajectories and Improved Bot Detection

Alejandro Acien, Aythami Morales+2 more|arXiv (Cornell University)|May 2, 2020

User Authentication and Security Systems被引用数 5

ひとこと要約

BeCAPTCHA-Mouseは、合成マウス軌道と神経運動特徴を用いた、1つのマウストレースでのみ93%の平均精度で人間とボットを区別する、新しいボット検出システムを提案する。関数ベースとGANベースの手法を組み合わせて、リアルな人間らしい軌道を生成し、検出のロバスト性を向上させ、既存の特徴と融合することで、最先端の手法を36%以上上回る性能を達成する。

ABSTRACT

We first study the suitability of behavioral biometrics to distinguish between computers and humans, commonly named as bot detection. We then present BeCAPTCHA-Mouse, a bot detector based on: i) a neuromotor model of mouse dynamics to obtain a novel feature set for the classification of human and bot samples; and ii) a learning framework involving real and synthetically generated mouse trajectories. We propose two new mouse trajectory synthesis methods for generating realistic data: a) a function-based method based on heuristic functions, and b) a data-driven method based on Generative Adversarial Networks (GANs) in which a Generator synthesizes human-like trajectories from a Gaussian noise input. Experiments are conducted on a new testbed also introduced here and available in GitHub: BeCAPTCHA-Mouse Benchmark; useful for research in bot detection and other mouse-based HCI applications. Our benchmark data consists of 15,000 mouse trajectories including real data from 58 users and bot data with various levels of realism. Our experiments show that BeCAPTCHA-Mouse is able to detect bot trajectories of high realism with 93% of accuracy in average using only one mouse trajectory. When our approach is fused with state-of-the-art mouse dynamic features, the bot detection accuracy increases relatively by more than 36%, proving that mouse-based bot detection is a fast, easy, and reliable tool to complement traditional CAPTCHA systems.

研究の動機と目的

• オンライン相互作用におけるマウスダイナミクスがボット検出の行動バイオメトリクスとして実現可能かどうかを調査すること。
• ボット検出およびマウスベースのHCI研究のための新しいベンチマークデータセットを構築すること。
• ボット検出器のトレーニングと評価の向上を目的として、リアルな人間らしいマウス軌道を生成すること。
• 実際の軌道と合成軌道を組み合わせた学習フレームワークを設計し、分類のロバスト性を高めること。
• 神経運動特徴とディープラーニングモデルの性能を、人間行動とボット行動の区別に役立てるかどうかを評価すること。

提案手法

• 人間の運動ダイナミクス（加速度・減速など）を捉えるために、シグマ・ログノーマルモデルに基づく神経運動特徴表現を提案する。
• 観察された人間の移動パターンから導出されたヒューリスティック関数を用いて、関数ベースの方法でマウス軌道を合成する。
• ジェネレータがガウスノイズから人間らしい軌道を生成するGANベースの方法を開発し、実際の人間データで訓練する。
• 実際の軌道と合成軌道の両方で分類器をトレーニングするハイブリッド学習フレームワークを採用し、一般化性能とロバスト性を向上させる。
• ランダムフォレストとLSTM分類器を用いて性能を評価し、トレーニングデータ量の変化に対するモデル感受性を評価するアブレーションスタディを実施する。
• BeCAPTCHA-Mouse特徴を最先端のマウスダイナミクス特徴と融合させ、全体の検出精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オンライン相互作用において、マウスダイナミクスは人間行動とボット行動を効果的に区別できるか？
• RQ2 合成マウス軌道は、ボット検出システムの一般化性能とロバスト性を向上させるのにどの程度有効か？
• RQ3 特に高精細なリアルなボットに対して、神経運動特徴の性能はいかほどか？
• RQ4 BeCAPTCHA-Mouse特徴を既存の特徴と融合させることで、全体の検出精度はどの程度向上するか？
• RQ5 実際のボットデータが不足する状況において、GANのディスクライマー自体が強力なボット検出器として機能できるか？

主な発見

• BeCAPTCHA-Mouseは、1つのマウストレースでのみ93%の平均検出精度を達成し、非常にリアルなボットに対しても有効である。
• 最先端のマウスダイナミクス特徴と融合させた場合、相対的に36%以上の精度向上が見られた。
• ランダムフォレストは、特にトレーニングデータが限られる状況でもLSTMネットワークを上回り、ボットサンプルが少ない状況でもロバストである。
• GANのディスクライマー自体が、未学習のボットサンプルに対して、多くのディープラーニングモデルを上回る性能を示しており、強力な検出能力を有することが示された。
• 提案されたベンチマーク、BeCAPTCHA-Mouse Benchmarkは、58人のユーザーとさまざまなボットタイプから成る15,000件の軌道を含み、包括的な評価を可能にする。
• 神経運動特徴セットは、初期の加速、最終的な減速、および微細な軌道補正といった、人間の移動パターンの重要な側面を効果的に捉えている。