[논문 리뷰] Three-Way Dissection of a Game-CAPTCHA: Automated Attacks, Relay Attacks, and Usability

Manar Mohamed, Niharika Sachdeva외 7명|arXiv (Cornell University)|2013. 10. 06.

User Authentication and Security Systems참고 문헌 32인용 수 15

한 줄 요약

이 논문은 동적 인지 게임(Dynamic Cognitive Game, DCG) CAPTCHA—사용자가 움직이는 물체를 목표지점에 드래그 앤 드롭하는 게임 기반 CAPTCHA—에 대한 종합적인 분석을 제시한다. 고정된 사전 기반의 자동 공격 기법을 도입하여 높은 정확도로 DCG CAPTCHA를 해독하며, 이는 이동하는 물체의 상호작용으로 인해 리lay어 공격에 강건함을 입증하고, 높은 사용성 또한 확인하였다. 이로 인해 자동 공격이 리lay어 공격보다 더 실현 가능하다는 상호보완적 trade-off 관계가 드러났다.

ABSTRACT

Existing captcha solutions on the Internet are a major source of user frustration. Game captchas are an interesting and, to date, little-studied approach claiming to make captcha solving a fun activity for the users. One broad form of such captchas -- called Dynamic Cognitive Game (DCG) captchas -- challenge the user to perform a game-like cognitive task interacting with a series of dynamic images. We pursue a comprehensive analysis of a representative category of DCG captchas. We formalize, design and implement such captchas, and dissect them across: (1) fully automated attacks, (2) human-solver relay attacks, and (3) usability. Our results suggest that the studied DCG captchas exhibit high usability and, unlike other known captchas, offer some resistance to relay attacks, but they are also vulnerable to our novel dictionary-based automated attack.

연구 동기 및 목표

• 게임 기반 CAPTCHA, 특히 사용자 고통을 줄이려는 목적으로 개발된 동적 인지 게임(Dynamic Cognitive Game, DCG) CAPTCHA의 보안성과 사용성을 조사하기 위해.
• 이미지 처리 및 비지도 학습 기법을 활용한 완전 자동화된 공격이 DCG CAPTCHA에 대해 얼마나 실현 가능한지 평가하기 위해.
• 특히 이동하는 물체 상호작용을 고려할 때, 인간 해결자 기반 리lay어 공격의 실현 가능성 평가하기 위해.
• DCG CAPTCHA 인스턴스의 완료 시간, 오류율, 사용자 인식 사용성 측정을 위한 사용성 연구 수행하기 위해.
• 향후 CAPTCHA 설계에 대한 영향 분석, 특히 보안성과 사용자 경험 간 균형을 고려하기 위해.

제안 방법

• 움직이는 물체를 목표지점에 드래그해야 하는 동적 요소를 포함한 대표적인 DCG CAPTCHA 유형의 네 가지 다른 인스턴스를 정형화하고 구현하였다.
• 사용자 입력 없이도 움직이는 물체를 인식하고 분류할 수 있도록, 이미지 처리 및 비지도 학습 기반의 사전 기반 자동 공격 프레임워크를 개발하였다.
• 반응 시간을 핵심 성능 지표로 삼아 인간 해결자 기반 리lay어 공격을 평가하기 위한 사용자 연구를 설계하고 실행하였다.
• 여러 DCG CAPTCHA 인스턴스에서 완료 시간, 오류율, 사용자 인식 사용성 측정을 위한 사용성 연구를 수행하였다.
• 이동하는 물체 상호작용을 릴레이하는 데 어려움이 있음을 분석하여 DCG CAPTCHA의 리lay어 공격에 대한 저항성 평가하였다.
• 컴퓨터 비전 기법과 사용자 중심 평가를 조합하여 보안성과 사용성 간의 상호보완적 관계 평가하였다.

실험 결과

연구 질문

• RQ1 완전 자동화된 공격가 DCG CAPTCHA를 해독할 수 있으며, 기존 자동 공격과 비교해 얼마나 효과적인가?
• RQ2 특히 물체의 동적 특성으로 인해 DCG CAPTCHA는 인간 해결자 기반 리lay어 공격에 얼마나 저항하는가?
• RQ3 완료 시간, 오류율, 사용자 인식 측면에서 전통적 CAPTCHA와 비교해 DCG CAPTCHA의 사용성은 어떠한가?
• RQ4 자동화된 공격과 인간 해결자 구성 요소를 조합한 하이브리드 공격의 경제적 및 기술적 실현 가능성은 어떠한가?
• RQ5 반응 시간만으로도 DCG CAPTCHA에 대해 실현 가능한 공격 벡터가 될 수 있으며, 다른 공격 모델과 비교해 어떤가?

주요 결과

• 사용성 연구에서 DCG CAPTCHA 인스턴스는 낮은 완료 시간과 오류율, 높은 사용자 인식을 보여 높은 사용성을 입증하였다.
• 이미지 처리 및 비지도 학습 기법을 활용한 새로운 사전 기반 자동 공격 기법을 개발하여 높은 정확도로 DCG CAPTCHA를 해독하였다.
• 높은 사용성에도 불구하고 DCG CAPTCHA는 자동 공격에 취약했으며, 최적 성능을 내기 위해 맞춤형 물체 사전 구축이 필요했다.
• 이동하는 물체의 특성으로 인해 DCG CAPTCHA는 리lay어 공격에 뚜렷한 저항성을 보였으며, 도전 과제를 효과적으로 전달하기 어려웠다.
• 사용자 연구 결과, 반응 시간에 의존하는 리lay어 공격는 DCG CAPTCHA에 대해 덜 효과적이었으며, 동적 상호작용으로 인해 단순 반응 작업을 초월한 인지 부담이 증가했기 때문이다.
• 이러한 발견은 기존의 가정인 리lay어 공격가 자동 공격보다 경제적으로 유리하다는 것을 뒤집으며, DCG CAPTCHA의 설계 특성으로 인해 이는 반대로 적용될 수 있음을 시사한다.