[論文レビュー] TypeFormer: Transformers for Mobile Keystroke Biometrics

Giuseppe Stragapede, Paula Delgado-Santos+4 more|arXiv (Cornell University)|Dec 26, 2022

User Authentication and Security Systems被引用数 6

ひとこと要約

TypeFormer は、LSTM、ガウスレンジ符号化、自己注意機構、ブロック再帰層を組み合わせた時間的およびチャネルモジュールを活用することで、モバイル自由文章入力キーストローキングバイオメトリクスのための新しい変換器ベースのアーキテクチャを提案する。64次元の特徴埋め込みを学習し、Aalto モバイルキーストローキングデータベースで5回の登録セッション（1回あたり50キーストローク）のみを用いて、SOTAの等誤差率（EER）3.25％を達成した。

ABSTRACT

The broad usage of mobile devices nowadays, the sensitiveness of the information contained in them, and the shortcomings of current mobile user authentication methods are calling for novel, secure, and unobtrusive solutions to verify the users' identity. In this article, we propose TypeFormer, a novel Transformer architecture to model free-text keystroke dynamics performed on mobile devices for the purpose of user authentication. The proposed model consists in Temporal and Channel Modules enclosing two Long Short-Term Memory (LSTM) recurrent layers, Gaussian Range Encoding (GRE), a multi-head Self-Attention mechanism, and a Block-Recurrent structure. Experimenting on one of the largest public databases to date, the Aalto mobile keystroke database, TypeFormer outperforms current state-of-the-art systems achieving Equal Error Rate (EER) values of 3.25% using only 5 enrolment sessions of 50 keystrokes each. In such way, we contribute to reducing the traditional performance gap of the challenging mobile free-text scenario with respect to its desktop and fixed-text counterparts. Additionally, we analyse the behaviour of the model with different experimental configurations such as the length of the keystroke sequences and the amount of enrolment sessions, showing margin for improvement with more enrolment data. Finally, a cross-database evaluation is carried out, demonstrating the robustness of the features extracted by TypeFormer in comparison with existing approaches.

研究の動機と目的

• モバイル自由文章入力とデスクトップ固定文章入力のキーストローキングバイオメトリクスシステムの性能格差を是正すること。
• キーストローキングダイナミクスを用いて、モバイルデバイスで継続的かつ受動的なユーザー認証を可能にする深層学習モデルを開発すること。
• 高度な自己注意機構と埋め込み学習により、多様なデータベース間で特徴の頑健性と一般化性能を向上させること。
• 実世界のモバイル環境において高い精度を維持しつつ、大規模な登録データへの依存を低減すること。
• 特徴埋め込みのプライバシー的影響を評価し、性別や年齢などの人口統計的属性の漏洩の有無を分析すること。

提案手法

• TypeFormer は、キーストローキングシーケンスを独立してモデル化するため、時間的およびチャネルモジュールを備えた二重ブランチアーキテクチャを採用する。
• キーストローキングタイミングデータ内の逐次的依存関係を捉えるために、長短期記憶（LSTM）層を用いる。
• 生のキーストローキング特徴を連続的かつ微分可能な表現に埋め込むために、ガウスレンジ符号化（GRE）を適用する。
• 多頭部自己注意機構により、時間的およびチャネル的側面における長距離依存関係と特徴間の関係を捉える。
• ブロック再帰型変換器層により、重複のないブロックに分割された長大なシーケンスを効率的にモデル化する。
• 内側クラス（同一ユーザー）の埋め込み距離を最小限に、外側クラス（異なるユーザー）の距離を最大化するために、ユークリッド距離を用いたトリプレット損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのアーキテクチャは、既存のRNNおよび注意機構ベースのモデルを上回る性能をモバイル自由文章入力キーストローキングバイオメトリクスで示せるか？
• RQ2 登録セッション数やキーストローキングシーケンス長が、TypeFormer の性能にどのように影響するか？
• RQ3 外部データベースで評価した場合、学習された特徴埋め込みの頑健性はどの程度高いか？
• RQ4 特に登録データが限られた状況下でも、モデルは異なるユーザーおよびデバイス間で良好に一般化できるか？
• RQ5 性別や年齢といった人口統計的属性の漏洩という観点から、学習された特徴埋め込みのプライバシー的リスクは何か？

主な発見

• TypeFormer は、5回の登録セッション（1回あたり50キーストローク）のみを用いて、等誤差率（EER）3.25％を達成し、先行するSOTA手法を著しく上回った。
• 従来のSOTA LSTMベースのモデルと比較して、相対的改善で約65％、絶対的改善で5.95％のEER向上を達成した。
• クロスデータベース評価では、TypeFormer の特徴は既存のアプローチよりも優れた一般化性能を示し、テストケース全体で平均8.60％のEER改善を達成した。
• t-SNE可視化により、クラス内ばらつきが低く、クラス間分離性が高いため、効果的な埋め込み学習が行われたことが確認された。
• 短いシーケンスや最小限の登録データでも、モデルは強力な性能を維持しており、実世界への展開に向けた可能性を示した。
• 特徴埋め込みにはプライバシー漏洩の可能性が示唆されており、キーストローキングデータは機微なバイオメトリクス情報として取り扱うべきである。