[논문 리뷰] Machine Learning and Deep Learning for Fixed-Text Keystroke Dynamics

Han-Chih Chang, Jianwei Li외 2명|arXiv (Cornell University)|2021. 07. 01.

Hand Gesture Recognition Systems인용 수 5

한 줄 요약

이 논문은 고정 텍스트 타이핑 동작 인증을 위한 기계 학습 및 딥 러닝 모델을 평가하며, 키 누름 및 떼는 시간과 같은 타이밍 특징을 사용한다. 데이터 증강을 적용한 극단적 그래디언트 부스팅(XGBoost)이 96.39%의 최고 정확도를 기록하여 이전 연구를 능가하며 효율적인 학습 시간을 보이며 뛰어난 성능을 보였다.

ABSTRACT

Keystroke dynamics can be used to analyze the way that users type by measuring various aspects of keyboard input. Previous work has demonstrated the feasibility of user authentication and identification utilizing keystroke dynamics. In this research, we consider a wide variety of machine learning and deep learning techniques based on fixed-text keystroke-derived features, we optimize the resulting models, and we compare our results to those obtained in related research. We find that models based on extreme gradient boosting (XGBoost) and multi-layer perceptrons (MLP)perform well in our experiments. Our best models outperform previous comparable research.

연구 동기 및 목표

• 고정 텍스트 타이핑 동작 기반 사용자 인증을 위한 다양한 기계 학습 및 딥 러닝 모델을 평가하기 위해.
• 데이터 증강 및 하이퍼파rameter 튜닝과 같은 기법을 사용하여 모델 성능을 최적화하기 위해.
• CMU 고정 텍스트 데이터셋에서 최신 기술 수준의 성능를 확립하기 위해 이전 연구와 결과를 비교하기 위해.
• 지속적이고 수동적인 타이핑 모니터링이 실시간 침입 탐지에 가능할지 평가하기 위해.
• 생체 인식 인증에서 모델 정확도, 학습 효율성, 내성 간의 상호 상충 관계를 탐색하기 위해.

제안 방법

• 키 누름 및 뗴는 시간, 비행 시간, 인터-타이핑 간격 등을 포함한 타이핑 타이밍 특징을 수집하였다.
• 제한된 사용자 데이터에서의 일반화 능력 향상과 과적합 방지를 위해 데이터 증강을 적용하였다.
• k-NN, SVM, 랜덤 포레스트, XGBoost, MLP, CNN, RNN, LSTM 등 다양한 모델을 학습하고 비교하였다.
• 정확도 및 혼동 행렬과 같은 표준 평가 지표를 사용하여 모델 성능를 평가하였다.
• 특히 RNN 기반 모델의 결정을 해석하기 위해 주의 메커니즘 시각화(히트맵)를 활용하였다.
• 모든 알고리즘에 대해 최적의 하이퍼파ram터를 도출하기 위해 그리드 서치와 교차 검증을 사용하여 모델을 최적화하였다.

실험 결과

연구 질문

• RQ1 고정 텍스트 타이핑 동작 기반 인증에서 어떤 기계 학습 및 딥 러닝 모델이 가장 높은 정확도를 달성하는가?
• RQ2 데이터 증강은 낮은 데이터 환경에서 모델 성능와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 다양한 알고리즘 간에 모델 정확도와 학습 효율성 사이의 상호 상충 관계는 어떠한가?
• RQ4 XGBoost와 MLP는 동일한 기준 데이터셋에서 이전 최신 기술 수준의 모델과 어떻게 비교되는가?
• RQ5 RNN의 주의 메커니즘은 타이핑 패턴 인식에 대해 얼마나 해석 가능한 통찰을 제공하는가?

주요 결과

• XGBoost에 데이터 증강을 적용한 결과, CMU 고정 텍스트 데이터셋에서 96.39%의 최고 정확도를 기록하여 이전의 유사한 방법들을 모두 능가하였다.
• 다층 퍼셉트론(MLP)은 단순한 아키텍처에도 불구하고 95.67%의 정확도로 거의 최적의 성능를 기록하여 강력한 일반화 능력을 보였다.
• XGBoost에 데이터 증강을 적용한 경우 학습에 단 18분이 소요되었으며, MLP의 30분 대비 상당히 빠른 학습 효율성을 보였다.
• 최고 성능를 기록한 모델(XGBoost-augment 및 MLP)은 사용자 간의 개별 타이핑 변동성에 대해 일관된 성능를 보이며 내성적인 특성을 입증하였다.
• 주의 히트맵 시각화를 통해 RNN 기반 모델이 중요한 타이핑 간격에 집중하고 있음을 확인하여 효과적인 시간적 패턴 학습 능력을 보였다.
• 본 연구는 낮은 데이터 생체 인식 인증 환경에서 모델 최적화와 데이터 증강이 성능 향상에 필수적임을 확인하였다.