[논문 리뷰] Continuous Authentication Using Mouse Movements, Machine Learning, and Minecraft

Nyle Siddiqui, Rushit Dave외 1명|arXiv (Cornell University)|2021. 10. 14.

User Authentication and Security Systems인용 수 8

한 줄 요약

이 논문은 10명의 사용자가 마인크래프트를 플레이하는 동안 수집한 새로운 마우스 동역학 데이터셋을 소개하며, 기계 학습—특히 이진 랜덤 포레스트 분류기—를 활용해 연속 인증을 가능하게 한다. 이 방법은 진짜 사용자와 위조 사용자를 구분하는 데 평균 92%의 정확도를 달성하여 이전 연구 대비 핵심 지표에서 뛰어나며, 잘못된 인증을 줄였다.

ABSTRACT

Mouse dynamics has grown in popularity as a novel irreproducible behavioral biometric. Datasets which contain general unrestricted mouse movements from users are sparse in the current literature. The Balabit mouse dynamics dataset produced in 2016 was made for a data science competition and despite some of its shortcomings, is considered to be the first publicly available mouse dynamics dataset. Collecting mouse movements in a dull administrative manner as Balabit does may unintentionally homogenize data and is also not representative of realworld application scenarios. This paper presents a novel mouse dynamics dataset that has been collected while 10 users play the video game Minecraft on a desktop computer. Binary Random Forest (RF) classifiers are created for each user to detect differences between a specific users movements and an imposters movements. Two evaluation scenarios are proposed to evaluate the performance of these classifiers; one scenario outperformed previous works in all evaluation metrics, reaching average accuracy rates of 92%, while the other scenario successfully reported reduced instances of false authentications of imposters.

연구 동기 및 목표

• 행동 생체 인증 연구 분야에서 현실적이고 제한이 없는 마우스 이동 데이터셋의 부족 문제를 해결하기 위해.
• 마우스 동역학을 행동 생체 인증 수단으로 활용한 연속 인증 시스템을 개발하기 위해.
• 실제 게임 상호작용을 기반으로 한 마우스 이동 데이터를 활용해 기계 학습 모델이 진짜 사용자와 위조 사용자를 얼마나 잘 구분하는지 평가하기 위해.
• 실제 적용 환경에서 분류기의 강건성을 향상시켜 잘못된 인증 비율을 줄이기 위해.

제안 방법

• 데스크톱 컴퓨터에서 마인크래프트를 플레이하는 동안 10명의 참가자로부터 마우스 이동 데이터를 수집하여 자연스럽고 제한이 없는 상호작용를 시뮬레이션하였다.
• 시간적 및 공간적 특징인 속도, 가속도, 경로 곡률 등을 추출하기 위해 원시 마우스 이동 데이터를 전처리하였다.
• 각 사용자의 고유한 마우스 동역학 패턴을 학습하기 위해 사용자별로 이진 랜덤 포레스트 분류기를 훈련시켰다.
• 전체 정확도를 중시하는 경우와 잘못된 양성 결과를 최소화하는 경우의 두 가지 다른 시나리오에서 분류기를 평가하였다.
• 사용자 식별에 가장 유용한 이동 패턴을 식별하기 위해 특징 중요도 분석을 수행하였다.
• 다른 사용자 간의 일반화 능력과 모델의 강건성을 평가하기 위해 교차 사용자 평가를 적용하였다.

실험 결과

연구 질문

• RQ1 마인크래프트와 같은 자연스럽고 몰입감 있는 게임 플레이 중에 수집한 마우스 이동 데이터는 연속 인증에 효과적으로 활용될 수 있는가?
• RQ2 게임 기반 마우스 동역학 데이터를 기반으로 훈련된 랜덤 포레스트 분류기의 성능은 이전 연구 대비 어떻게 비교되는가?
• RQ3 제안된 방법은 기존 방법에 비해 위조 사용자의 잘못된 인증 비율을 얼마나 줄일 수 있는가?
• RQ4 실제 환경에서 개인 사용자를 식별하는 데 가장 구분력 있는 마우스 이동 특징는 무엇인가?
• RQ5 게임 데이터를 기반으로 훈련된 모델은 다른 사용자에게 일반화될 때 어떻게 작동하는가?

주요 결과

• 제안된 방법은 진짜 사용자와 위조 사용자를 구분하는 데 평균 92%의 정확도를 달성하여 모든 평가 지표에서 이전 연구를 뛰어넘었다.
• 한 평가 시나리오는 위조 사용자의 잘못된 인증 수를 성공적으로 줄였으며, 실질적인 구현에서의 보안 향상을 입증하였다.
• 마인크래프트 게임 플레이 중에 수집한 데이터셋은 이전의 정적 또는 관리자 기반 데이터 수집 방식보다 더 다양한 현실적인 마우스 동역학을 제공하였다.
• 특징 중요도 분석을 통해 속도와 가속도 패턴이 사용자 식별에 가장 구분력 있는 특징 중 하나로 밝혀졌다.
• 이진 랜덤 포레스트 분류기는 강력한 일반화 능력을 보였으며, 미리 보지 않은 사용자 데이터에 대해서도 높은 성능을 유지하였다.
• 본 연구는 게임 환경이 연속 인증을 위한 행동 생체 인증 데이터 수집에 실용적이고 효과적인 맥락이 될 수 있음을 보여주었다.