[논문 리뷰] Analysis of the Human-Computer Interaction on the Example of Image-based CAPTCHA by Association Rule Mining

Darko Brodić, Alessia Amelio|arXiv (Cornell University)|2016. 12. 01.

User Authentication and Security Systems참고 문헌 7인용 수 4

한 줄 요약

이 연구는 인물 표정을 포함한 이미지 기반 CAPTCHA를 해결하는 데 있어 인간의 반응 시간을 분석하여 연관 규칙 마이닝을 활용해 사용자 심리적 및 인구통계적 영향을 규명한다. 연구 결과, 35세 이하의 연령대 사용자가 더 빠른 반응 시간을 보였으며, 애니메이션 캐릭터가 가장 쉽게, 걱정하는 표정이 가장 어려운 것으로 나타났다. 또한 높은 교육 수준과 인터넷 경험은 연령이 많은 사용자에서 반응 시간을 완화하는 데 기여한다.

ABSTRACT

The paper analyzes the interaction between humans and computers in terms of response time in solving the image-based CAPTCHA. In particular, the analysis focuses on the attitude of the different Internet users in easily solving four different types of image-based CAPTCHAs which include facial expressions like: animated character, old woman, surprised face, worried face. To pursue this goal, an experiment is realized involving 100 Internet users in solving the four types of CAPTCHAs, differentiated by age, Internet experience, and education level. The response times are collected for each user. Then, association rules are extracted from user data, for evaluating the dependence of the response time in solving the CAPTCHA from age, education level and experience in internet usage by statistical analysis. The results implicitly capture the users' psychological states showing in what states the users are more sensible. It reveals to be a novelty and a meaningful analysis in the state-of-the-art.

연구 동기 및 목표

• 이미지 기반 CAPTCHA를 해결하는 데 있어 연령, 교육 수준, 인터넷 경험과 같은 인구통계적 및 행동적 요인이 반응 시간에 미치는 영향을 조사하는 것.
• 표정(애니메이션 캐릭터, 노인 여성, 놀란 표정, 걱정하는 표정)의 심리적 영향이 인간의 인식 속도에 미치는 영향을 탐구하는 것.
• 사용자 특성과 반응 시간 간의 자연스러운 의존성 패턴을 탐지하기 위해 연관 규칙 마이닝을 적용하여 CAPTCHA 설계를 향상시키는 것.
• 인지심리학 및 HCI 분야에 기여하기 위해 더 빠르거나 더 느린 CAPTCHA 해결과 관련된 사용자 상태를 규명하는 것.
• 실증 데이터와 통계적 패턴을 바탕으로 더 사용자 중심적이고 사용자 적응형 CAPTCHA 시스템 개발을 지원하는 것.

제안 방법

• 100명의 인터넷 사용자를 대상으로 실험을 수행하여, 서로 다른 표정을 가진 네 가지 이미지 기반 CAPTCHA에 대한 반응 시간을 수집하였다.
• 사용자를 연령(35세 이하, 35세 초과), 교육 수준(중등, 고등), 인터넷 사용 빈도(낮음, 중간, 높음)로 분류하였다.
• 사용자 특성과 반응 시간 범주(낮음, 중간) 간의 빈도 패턴과 의존성을 규명하기 위해 연관 규칙 마이닝을 적용하였다.
• 추출된 규칙의 강도와 유의미성을 평가하기 위해 지지도, 신뢰도, 리프트 값을 계산하였다.
• 인구통계적 변수와 해결 속도 간의 연관성 신뢰도를 평가하기 위해 통계 분석을 수행하였다.
• 반응 시간 변동에 가장 큰 영향을 미치는 요인을 식별하기 위해 높은 리프트와 신뢰도를 가진 규칙을 우선순위로 정하였다.

실험 결과

연구 질문

• RQ1 연령은 표정이 포함된 이미지 기반 CAPTCHA 해결 시 반응 시간에 어떤 영향을 미치는가?
• RQ2 교육 수준과 인터넷 경험은 다양한 유형의 이미지 기반 CAPTCHA 해결 속도에 어떤 영향을 미치는가?
• RQ3 이미지 기반 CAPTCHA에서 가장 쉽게 인식되는 표정은 무엇이며, 가장 어려운 것은 무엇인가?
• RQ4 낮은 또는 중간 반응 시간과 관련된 주요 인구통계적 및 행동 패턴은 무엇인가?
• RQ5 연관 규칙 마이닝을 통해 사용자 특성과 CAPTCHA 해결 성능 간의 숨겨진 관계를 어떻게 규명할 수 있는가?

주요 결과

• 35세 이하의 사용자들은 모든 CAPTCHA 유형에서 일관되게 낮은 반응 시간을 기록하여 표정 인식 속도가 빠르다는 것을 보여주었다.
• 애니메이션 캐릭터 CAPTCHA는 가장 쉽게 해결되었으며, 35세 이하 사용자 중 76%가 낮은 반응 시간을 기록했고, 그 다음으로는 35세 초과의 중등 교육 수준 사용자 중 67%가 낮은 반응 시간을 기록했다.
• 걱정하는 표정 CAPTCHA는 가장 어려웠으며, 35세 초과이면서 중등 교육 수준의 사용자 중 낮은 반응 시간을 기록한 비율은 55%에 불과했고, 고등 교육 수준과 중간 수준의 인터넷 사용자 중 94%가 중간 반응 시간을 기록했다.
• 높은 인터넷 사용 빈도와 높은 교육 수준는 복잡한 표정(예: 걱정하는 표정)에서 빠른 반응 시간을 예측하는 데 강력한 지표로 작용하였다.
• 높은 리프트(예: 35세 초과, 고등 교육 수준, 중간 수준의 인터넷 사용 → 중간 반응 시간, 리프트 2.14)를 가진 연관 규칙는 사용자 프로파일과 해결 속도 간의 중요한 의존성을 드러내었다.
• 놀란 표정 CAPTCHA는 낮은 반응 시간과 강한 연관성이 없었으며, 이는 사용자에게 덜 직관적이거나 더 모호하다는 것을 시사한다.