[논문 리뷰] Robust Keystroke Biometric Anomaly Detection

John V. Monaco|arXiv (Cornell University)|2016. 06. 29.

User Authentication and Security Systems참고 문헌 17인용 수 21

한 줄 요약

이 논문은 실제 데이터에서 발생하는 길이가 변동되고 일치하지 않는 타이핑 시퀀스를 처리하기 위해 타이핑 일치 및 주관별 점수 정규화를 사용하는 강력한 타이핑 생체 인식 이상 탐지 시스템을 제시한다. 간단한 특징을 사용함에도 불구하고 맨하탄 거리가 15개 시스템 중 가장 낮은 등가오류률(5.32%)을 기록했으며, 성능 향상의 주요 원인은 복잡한 모델이 아닌 전처리 및 정규화에 기인한다.

ABSTRACT

The Keystroke Biometrics Ongoing Competition (KBOC) presented an anomaly detection challenge with a public keystroke dataset containing a large number of subjects and real-world aspects. Over 300 subjects typed case-insensitive repetitions of their first and last name, and as a result, keystroke sequences could vary in length and order depending on the usage of modifier keys. To deal with this, a keystroke alignment preprocessing algorithm was developed to establish a semantic correspondence between keystrokes in mismatched sequences. The method is robust in the sense that query keystroke sequences need only approximately match a target sequence, and alignment is agnostic to the particular anomaly detector used. This paper describes the fifteen best-performing anomaly detection systems submitted to the KBOC, which ranged from auto-encoding neural networks to ensemble methods. Manhattan distance achieved the lowest equal error rate of 5.32%, while all fifteen systems performed better than any other submission. Performance gains are shown to be due in large part not to the particular anomaly detector, but to preprocessing and score normalization techniques.

연구 동기 및 목표

• 실제 생체 인식 데이터에서 개인의 고유한 이름과 성을 입력할 때 발생하는 길이가 변동되고 일치하지 않는 타이핑 시퀀스 문제를 해결하기 위해.
• 템플릿 및 쿼리 시퀀스 간의 근사 일치에 대해 표준 고정 텍스트 기법을 적용할 수 있도록 전처리 파이프라인을 개발하기 위해.
• 이상 탐지 성능을 햖을 수 있도록 이상치 및 소량의 훈련 샘플에 강건한 주관별 특징 및 점수 정규화를 사용하기 위해.
• 실제로 부정 예측 데이터가 부족한 상황에서 일종의 학습 설정에서 다양한 이상 탐지기(예: 오토인코더에서 맨하탄 거리까지)를 평가하기 위해.
• 성능 향상의 주요 원인이 이상 탐지기의 선택이 아니라 일치 및 정규화에 기인함을 입증하기 위해.

제안 방법

• 수정 키로 인해 삽입, 삭제, 치환, 전치가 발생하더라도 쿼리 및 템플릿 시퀀스 간의 의미적 대응 관계를 설정하는 타이핑 일치 알고리즘을 사용한다.
• 정렬된 시퀀스에서 시간 특징(예: 키 간 간격)을 추출하고, 주관별 최소/최대 또는 표준편차 기반의 경계를 사용해 정규화한다.
• 맨하탄 거리, 오토인코더, 앙상블 방법 등 다양한 모델을 사용해 이상 탐지를 수행하며, 모든 모델은 제한된 템플릿 샘플에서 학습된다.
• 점수 정규화는 주관별 최소/최대 또는 표준편차 기반 스케일링을 사용해 점수 분포를 안정화하고 일반화 성능을 향상시킨다.
• 일치, 특징 정규화, 이상 탐지 점수, 점수 정규화를 통합한 시스템 파이프라인은 이상 탐지기의 선택에 관계없이 모든 구성 요소가 무관하게 작동한다.
• 모든 일치하지 않는 시퀀스를 기각하거나 잘라내는 대신 유지함으로써 유용한 데이터를 최대한 활용하여 실패 캡처 비율을 감소시킨다.

실험 결과

연구 질문

• RQ1 수정 키 사용으로 인해 길이와 순서가 변동되는 타이핑 시퀀스를 효과적인 이상 탐지에 적합하게 어떻게 일치시킬 수 있는가?
• RQ2 저자료, 일종의 학습 설정에서 특징 및 점수 정규화 기법이 이상 탐지 성능에 어느 정도 기여하는가?
• RQ3 강력한 전처리가 적용된 경우, 맨하탄 거리와 같은 간단한 이상 탐지기들이 복잡한 모델을 능가할 수 있는가?
• RQ4 템플릿 및 쿼리 데이터 수집 간의 장기간 간격이 이상 탐지 시스템의 성능에 어떻게 영향을 미치는가?
• RQ5 일치 및 정규화 기법과 이상 탐지기의 선택 중 시스템 전체 성능에 대한 상대 기여도는 어떻게 되는가?

주요 결과

• 맨하탄 거리가 모든 15개 시스템 중 가장 낮은 등가오류률(5.32%)을 기록했으며, 오토인코더나 앙상블 방법과 같은 더 복잡한 모델을 능가했다.
• 성능이 가장 뛰어난 시스템(시스템 6)은 시간이 지남에 따라 성능 저하가 거의 없었으며, 템플릿 수집 후 2개월 대비 4개월 후 테스트에서 EER가 단 0.01%만 상승했다.
• 성능 향상의 주요 원인은 이상 탐지기의 선택이 아니라 타이핑 일치 및 점수 정규화였으며, 모든 모델에서 일관된 향상이 관찰되어 뒷받 들렸다.
• 표준편차 기반 경계를 사용한 점수 정규화는 최소/최대 정규화보다 이상치에 더 강건했으며, 극단적 값에 민감한 최소/최대 정규화는 이로 인해 성능 저하를 겪었다.
• 모든 15개의 최상위 시스템이 다른 어떤 제출물보다 낮은 EER를 기록했으며, 다양한 모델 및 전처리 전략에 걸쳐 강력한 일반화 성능을 보였다.
• 장기간 동안도 시스템은 강건하게 유지되었으며, 이는 타이핑 프로파일이 빠르게 안정화되고 시간적 변동성에 강건하다는 것을 시사한다.