[논문 리뷰] Deep-CAPTCHA: a deep learning based CAPTCHA solver for vulnerability assessment

Zahra Noury, Mahdi Rezaei|arXiv (Cornell University)|2020. 06. 15.

User Authentication and Security Systems인용 수 5

한 줄 요약

이 논문은 50만 장의 합성 CAPTCHA 이미지로 구성된 데이터셋을 활용하여 수치형 CAPTCHA에서 98.94%의 정확도와 알파숫자형 CAPTCHA에서 98.31%의 정확도를 달성하는 맞춤형 컨볼루션 신경망(CNN)인 Deep-CAPTCHA를 제안한다. 이 모델은 다중 문자 인식을 위해 병렬 소프트맥스 레이어를 사용하며, 기존 CAPTCHA 생성기의 심각한 취약점을 드러내어 적대적 분석을 통한 더 강력한 내구성 향상이 가능하다.

ABSTRACT

CAPTCHA is a human-centred test to distinguish a human operator from bots, attacking programs, or other computerised agents that tries to imitate human intelligence. In this research, we investigate a way to crack visual CAPTCHA tests by an automated deep learning based solution. The goal of this research is to investigate the weaknesses and vulnerabilities of the CAPTCHA generator systems; hence, developing more robust CAPTCHAs, without taking the risks of manual try and fail efforts. We develop a Convolutional Neural Network called Deep-CAPTCHA to achieve this goal. The proposed platform is able to investigate both numerical and alphanumerical CAPTCHAs. To train and develop an efficient model, we have generated a dataset of 500,000 CAPTCHAs to train our model. In this paper, we present our customised deep neural network model, we review the research gaps, the existing challenges, and the solutions to cope with the issues. Our network's cracking accuracy leads to a high rate of 98.94% and 98.31% for the numerical and the alpha-numerical test datasets, respectively. That means more works is required to develop robust CAPTCHAs, to be non-crackable against automated artificial agents. As the outcome of this research, we identify some efficient techniques to improve the security of the CAPTCHAs, based on the performance analysis conducted on the Deep-CAPTCHA model.

연구 동기 및 목표

• 자동화된 딥러닝 기반 해독을 통한 시각적 CAPTCHA 시스템의 취약점을 식별하고 분석한다.
• 실제 왜곡 조건에서도 수치형 및 알파숫자형 CAPTCHA를 모두 인식할 수 있는 강력하고 확장 가능한 딥러닝 모델을 개발한다.
• 모델을 효과적으로 훈련하고 평가하기 위해 50만 장의 대규모이고 다양한 합성 CAPTCHA 이미지를 생성한다.
• AI 기반 공격에 취약한 요소를 밝혀내어 CAPTCHA 생성의 보안을 향상시킨다.
• 자동화된 적대적 에이전트에 저항할 수 있는 더 견고한 CAPTCHA 설계를 위한 실질적인 통찰을 제공한다.

제안 방법

• 다중 문자 출력 예측을 위해 병렬 소프트맥스 레이어를 활용한 맞춤형 딥 CNN 아키텍처를 설계하여 단일 출력 모델 대비 정확도를 향상시켰다.
• 노이즈, 회전, 폰트 변형 등을 포함한 제어된 왜곡을 적용해 생성한 50만 장의 합성 CAPTCHA 이미지 데이터셋을 사용해 모델을 훈련시켰다.
• 일반화 성능 향상을 위해 정규화 및 증강 기법을 활용한 이미지 전처리를 수행했다.
• 배치 정규화와 ReLU 활성화 함수를 사용해 네트워크 아키텍처를 최적화하여 수렴 속도를 높이고 훈련 안정성을 향상시켰다.
• 5자리 수치형 CAPTCHA와 혼합 문자 및 숫자로 구성된 알파숫자형 CAPTCHA 유형에 대해 별도의 정확도 지표를 사용해 평가를 수행했다.
• Sigmoid 활성화 함수만을 사용한 출력 레이어와의 성능 비교를 위한 추론 실험을 통해 병렬 소프트맥스가 다중 문자 인식에서 뛰어난 성능을 보임을 입증했다.

실험 결과

연구 질문

• RQ1 복잡한 왜곡을 가진 현대의 시각적 CAPTCHA를 해독하는 데 있어 맞춤형 CNN 아키텍처의 효과는 어떠한가?
• RQ2 대규모 합성 CAPTCHA 데이터셋으로 훈련된 딥러닝 모델이 달성할 수 있는 정확도 수준은 무엇인가?
• RQ3 병렬 소프트맥스 레이어가 단일 출력 접근 방식에 비해 다중 문자 인식 성능을 어떻게 향상시키는가?
• RQ4 현재 CAPTCHA 생성 시스템에서 자동화된 딥러닝 공격에 취약하게 만드는 핵심적인 취약점은 무엇인가?
• RQ5 제안된 모델이 가변 길이의 문자열과 복잡한 문자 집합을 가진 CAPTCHA에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 Deep-CAPTCHA 모델은 수치형 CAPTCHA 이미지에서 테스트 정확도 98.94%를 기록하여 유사 기준에서 이전 최고 성능(SOTA) 방법을 크게 능가했다.
• 알파숫자형 CAPTCHA에 대해서는 98.31%의 정확도를 달성하여 혼합 문자 집합 간의 강력한 일반화 능력을 입증했다.
• 병렬 소프트맥스 레이어의 사용으로 다중 문자 출력에 대해 단일 출력 기반 기준 모델 대비 성능 향상이 8% 이상 향상되었다.
• 대규모 합성 데이터셋(50만 건)에서 높은 정확도를 기록한 것은, 예측되지 않은 왜곡 조건에 대해서도 강력한 일반화 능력을 가짐을 시사한다.
• 높은 성능에도 불구하고, '0'과 'O', 'l'과 'I'처럼 모호한 문자를 포함한 CAPTCHA에서는 어려움을 겪었으며, 이는 CAPTCHA 생성기의 지속적인 설계 결함을 드러낸다.
• 본 연구는 현재 CAPTCHA 시스템이 딥러닝 기반 공격에 여전히 취약하다는 점을 폭 드러내며, 자동화된 해독 엔진에 저항할 수 있는 더 견고한 설계 원칙이 필요하다고 결론을 내린다.