[論文レビュー] Machine Learning and Deep Learning for Fixed-Text Keystroke Dynamics

Han-Chih Chang, Jianwei Li+2 more|arXiv (Cornell University)|Jul 1, 2021

Hand Gesture Recognition Systems被引用数 5

ひとこと要約

本論文は、キー入力開始および終了時間などのタイミング特徴を用いて、固定テキストキーストロークダイナミクス認証のための機械学習およびディープラーニングモデルを評価している。データ拡張を適用した極端勾配ブースティング（XGBoost）は96.39%の最高精度を達成し、先行研究を上回り、効率的な学習時間とともに優れた性能を示した。

ABSTRACT

Keystroke dynamics can be used to analyze the way that users type by measuring various aspects of keyboard input. Previous work has demonstrated the feasibility of user authentication and identification utilizing keystroke dynamics. In this research, we consider a wide variety of machine learning and deep learning techniques based on fixed-text keystroke-derived features, we optimize the resulting models, and we compare our results to those obtained in related research. We find that models based on extreme gradient boosting (XGBoost) and multi-layer perceptrons (MLP)perform well in our experiments. Our best models outperform previous comparable research.

研究の動機と目的

• 固定テキストキーストロークダイナミクスに基づくユーザー認証のための幅広い機械学習およびディープラーニングモデルの評価を目的とする。
• データ拡張やハイパーパrameterチューニングなどの技術を用いてモデル性能を最適化することを目的とする。
• CMU固定テキストデータセットにおいて、先行研究と比較して最先端の性能を確立することを目的とする。
• 受動的で継続的なキーストロークモニタリングがリアルタイム侵入検出に実現可能かどうかを評価することを目的とする。
• バイオメトリクス認証におけるモデルの精度、学習効率、耐障害性のトレードオフを調査することを目的とする。

提案手法

• キー入力開始および終了時間、フライトタイム、キーストローク間隔などのキーストロークタイミング特徴を収集した。
• 限られたユーザーデータにおける一般化性能の向上と過学習の低減を目的として、データ拡張を適用した。
• k-NN、SVM、ランダムフォレスト、XGBoost、MLP、CNN、RNN、LSTMなど多様なモデルを訓練・比較した。
• 精度や混同行列などの標準的な評価指標を用いて、モデル性能を評価した。
• 特にRNNベースのモデルの意思決定を解釈するために、注目メカニズムの可視化（ヒートマップ）を実施した。
• グリッドサーチと交差検証を用いて、各アルゴリズムの最適なハイパーパrameterを同定した。

実験結果

リサーチクエスチョン

• RQ1 固定テキストキーストロークダイナミクス認証において、どの機械学習およびディープラーニングモデルが最高の精度を達成するか？
• RQ2 データ拡張は、データが少ない状況下でのモデル性能および一般化性能にどのように影響するか？
• RQ3 異なるアルゴリズム間で、モデルの精度と学習効率のトレードオフはどのように変化するか？
• RQ4 XGBoostおよびMLPは、同じベンチマークデータセットにおいて、過去の最先端手法と比較してどのように異なるか？
• RQ5 RNNにおける注目メカニズムは、キーストロークパターン認識に解釈可能なインサイトをどの程度提供できるか？

主な発見

• データ拡張を適用したXGBoostは、CMU固定テキストデータセットで96.39%の最高精度を達成し、すべての先行研究と同等の手法を上回った。
• マルチレイヤーパーセプトロン（MLP）は95.67%の精度を達成し、構造が単純であるにもかかわらず優れた一般化性能を示した。
• XGBoostにデータ拡張を適用した場合、学習にわずか18分で完了したのに対し、MLPは30分を要した。これは、XGBoostの学習効率の優位性を示している。
• 最高性能を発揮したモデル（XGBoost-augmentおよびMLP）は、ユーザーごとのタイピング変動にかかわらず一貫した性能を示し、耐障害性が確認された。
• 注目ヒートマップの可視化により、RNNベースのモデルが重要なキーストローク間隔に注目していることが明らかになり、効果的な時系列パターン学習が行われていることが示された。
• 本研究は、低データバイオメトリクス認証環境において、モデル最適化とデータ拡張が性能向上に不可欠であることを確認した。