[논문 리뷰] TypeFormer: Transformers for Mobile Keystroke Biometrics

Giuseppe Stragapede, Paula Delgado-Santos외 4명|arXiv (Cornell University)|2022. 12. 26.

User Authentication and Security Systems인용 수 6

한 줄 요약

TypeFormer는 Aalto 모바일 키스로크 데이터베이스에서 각 50개의 키스로크를 사용한 5개의 등록 세션만으로도 3.25%의 SOTA 등가 오류 비율(EER)을 달성하는 모바일 자유형 텍스트 타이핑 생체인식을 위한 새로운 트랜스포머 기반 아키텍처를 제안한다. 이는 시간적 및 채널 모듈을 활용하여 LSTM, 가우시안 범위 인코딩, 자기주의 주의, 블록 순환 레이어를 통해 분류 가능한 64차원 특징 임베딩을 학습한다.

ABSTRACT

The broad usage of mobile devices nowadays, the sensitiveness of the information contained in them, and the shortcomings of current mobile user authentication methods are calling for novel, secure, and unobtrusive solutions to verify the users' identity. In this article, we propose TypeFormer, a novel Transformer architecture to model free-text keystroke dynamics performed on mobile devices for the purpose of user authentication. The proposed model consists in Temporal and Channel Modules enclosing two Long Short-Term Memory (LSTM) recurrent layers, Gaussian Range Encoding (GRE), a multi-head Self-Attention mechanism, and a Block-Recurrent structure. Experimenting on one of the largest public databases to date, the Aalto mobile keystroke database, TypeFormer outperforms current state-of-the-art systems achieving Equal Error Rate (EER) values of 3.25% using only 5 enrolment sessions of 50 keystrokes each. In such way, we contribute to reducing the traditional performance gap of the challenging mobile free-text scenario with respect to its desktop and fixed-text counterparts. Additionally, we analyse the behaviour of the model with different experimental configurations such as the length of the keystroke sequences and the amount of enrolment sessions, showing margin for improvement with more enrolment data. Finally, a cross-database evaluation is carried out, demonstrating the robustness of the features extracted by TypeFormer in comparison with existing approaches.

연구 동기 및 목표

• 모바일 자유형 텍스트와 데스크톱 고정형 텍스트 타이핑 생체인식 시스템 간의 성능 격차를 해소하기 위해.
• 딥 러닝 모델을 개발하여 타이핑 동역학을 활용해 모바일 기기에서 지속적이고 수동적인 사용자 인증을 가능하게 하기 위해.
• 고도화된 자기주의 주의 및 임베딩 학습을 통해 다양한 데이터베이스 간 특징의 내성 및 일반화 능력을 향상시키기 위해.
• 실제 모바일 환경에서 높은 정확도를 유지하면서도 대규모 등록 데이터에 의존도를 줄이기 위해.
• 특징 임베딩의 기밀성 영향을 분석하기 위해 성별이나 연령과 같은 인구통계적 특성 유출 가능성을 평가하기 위해.

제안 방법

• TypeFormer는 시간적 및 채널 모듈을 갖춘 이중 브랜치 아키텍처를 사용하여 키스로크 시퀀스를 별도로 모델링한다.
• 시퀀스적 의존성을 키스로크 타이밍 데이터에서 포착하기 위해 장기 단기 기억(LSTM) 레이어를 사용한다.
• 원시 키스로크 특징을 연속적이고 미분 가능한 표현으로 매핑하기 위해 가우시안 범위 인코딩(GRE)을 적용한다.
• 다중 헤드 자기주의 주의 메커니즘이 시간과 채널 간 장거리 의존성과 상호 특징 관계를 포착한다.
• 비중첩 블록으로 나누어 긴 시퀀스를 효율적으로 모델링할 수 있도록 블록 순환 트랜스포머 레이어를 사용한다.
• 내부 클래스(동일 사용자) 간 거리 최소화와 외부 클래스(다른 사용자) 간 거리 최대화를 위해 유클리드 거리 기반 트리플릿 손실을 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 기존의 RNN 및 주의 기반 모델보다 모바일 자유형 텍스트 타이핑 생체인식에서 더 우수한 성능을 내는가?
• RQ2 TypeFormer의 성능는 다양한 등록 세션 수와 키스로크 시퀀스 길이에 따라 어떻게 변하는가?
• RQ3 외부 데이터베이스에서 평가했을 때 학습된 특징 임베딩의 내성은 어느 정도인가?
• RQ4 특히 등록 데이터가 제한된 상황에서, 모델은 다양한 사용자와 기기 간에 잘 일반화되는가?
• RQ5 학습된 특징 임베딩의 기밀성 위험은 성별이나 연령과 같은 인구통계적 특성의 유출 측면에서 어떻게 평가되는가?

주요 결과

• TypeFormer는 각 50개의 키스로크를 사용한 5개의 등록 세션만으로도 3.25%의 등가 오류 비율(EER)을 달성하여 이전의 SOTA 방법보다 뚜렷이 뛰어나다.
• 이전 SOTA LSTM 기반 모델 대비 상대적 향상 약 65%와 절대적 향상 5.95%의 EER 향상을 보였다.
• 다른 데이터베이스 간 평가 결과, TypeFormer의 특징는 기존 접근 방식보다 더 잘 일반화되며, 테스트 케이스 평균 EER 향상 8.60%를 기록했다.
• t-SNE 시각화 결과는 낮은 내부 클래스 변동성과 높은 외부 클래스 분리도를 확인하여 효과적인 임베딩 학습을 뒷받침한다.
• 짧은 시퀀스와 최소한의 등록 데이터 조건에서도 모델은 뛰어난 성능를 유지하여 실생활 구현 가능성에 대한 희망을 제시한다.
• 특징 임베딩은 기초적인 기밀성 유출 가능성을 보이며, 이는 타이핑 데이터를 민감한 생체정보로 간주해야 함을 시사한다.