[논문 리뷰] Audio Captcha Recognition Using RastaPLP Features by SVM

Ahmet Faruk Çakmak, Muhammet Balcılar|arXiv (Cornell University)|2019. 01. 08.

User Authentication and Security Systems참고 문헌 12인용 수 5

한 줄 요약

이 논문은 Rasta-PLP 특징과 주성분 분석(PCA)을 사용한 SVM 기반의 음성 CAPTCHA 인식 시스템을 제안하며, 다양한 음성 CAPTCHA 데이터셋에서 개별 숫자 인식 정확도 98%와 완전한 시퀀스 정확도 89%를 달성한다. 이 방법은 신호 처리와 기계 학습을 융합하여 기계에 의해 어렵게 설계되었지만 인간에게는 읽을 수 있는 노이즈가 많은 말하기 숫자 시퀀스를 해독한다.

ABSTRACT

Nowadays, CAPTCHAs are computer generated tests that human can pass but current computer systems can not. They have common usage in various web services in order to be able to detect a human from computer programs autonomously. In this way, owners can protect their web services from bots. In addition to visual CAPTCHAs which consist of distorted images, mostly test images, that a user must write some description about that image, there are a significant amount of audio CAPTCHAs as well. Briefly, audio CAPTCHAs are sound files which consist of human sound under heavy noise where the speaker pronounces a bunch of digits consecutively. Generally, in those sound files, there are some periodic and non-periodic noises to get difficult to recognize them with a program but not for a human listener. We gathered numerous randomly collected audio file to train and then test them using our SVM algorithm to be able to extract digits out of each conversation.

연구 동기 및 목표

• 기계에 의해 어렵게 설계되었지만 인간에게는 가능하게 설계된 음성 CAPTCHA를 해독할 수 있는 기계 학습 기반의 접근법을 개발하는 것.
• 노이즈가 많은 환경에서 강건한 음성 숫자 인식을 위해 Rasta-PLP 특징과 SVM, PCA의 조합이 효과적인지 평가하는 것.
• 음성 CAPTCHA 데이터셋에서 PCA를 적용한 SVM의 성능을 나이브 베이즈와 기본 SVM 분류기와 비교하는 것.
• 4개의 폴드 교차 검증을 통해 최적의 초모수(C값 및 PCA 분산)를 최대화하여 인식 정확도를 극대화하는 것.

제안 방법

• 말하기 숫자의 스펙트럼적 및 청각적 특성을 나타내기 위해 원시 음성 CAPTCHA 파일에서 Rasta-PLP(Rasta-Perceptual Linear Prediction) 특징을 추출한다.
• 주성분 분석(PCA)을 적용하여 특징 차원을 감소시키면서 분산을 유지함으로써 일반화 능력을 향상시키고 과적합을 줄인다.
• PCA로 감소된 특징에 대해 서포트 벡터 머신(SVM) 분류기를 훈련하며, 초모수(C값 및 분산)는 4개의 폴드 교차 검증을 통해 최적화한다.
• 예측된 숫자 시퀀스와 진짜 숫자 시퀀스를 정렬하기 위해 다이내믹 타임 워핑(DTW)과 딜라크 델타 메트릭을 사용하여 개별 숫자 정확도를 계산하며, 순서가 어긋나거나 누락된 숫자를 고려한다.
• 두 가지 평가 지표를 사용한다: DTW 비용을 통한 개별 숫자 정확도와 정확한 순서로 모든 숫자가 일치하는 완전한 시퀀스 정확도.
• 100개의 음성 CAPTCHA 파일로 구성된 데이터셋을 사용하여 시스템을 훈련하고 테스트하며, 숫자 0~9와 노이즈 클래스를 포함한 총 11개의 클래스를 포함한다.

실험 결과

연구 질문

• RQ1 노이즈가 심한 환경에서도 Rasta-PLP 특징과 PCA, SVM의 조합이 높은 정확도로 음성 CAPTCHA를 해독하는 데 효과적인가?
• RQ2 PCA를 포함함으로써 SVM의 성능이 비-PCA 기반 베이스라인 대비 음성 CAPTCHA 인식에서 어떻게 향상되는가?
• RQ3 음성 CAPTCHA 데이터에서 인식 정확도를 극대화하는 데 최적의 C값과 PCA 분산 조합은 무엇인가?
• RQ4 다양한 분류기 간에 개별 숫자 정확도와 완전한 시퀀스 정확도 지표는 어떻게 비교되는가?

주요 결과

• 제안된 PCA를 적용한 SVM는 98.09%의 개별 숫자 인식 정확도를 달성하여 나이브 베이즈(42.13%)와 기본 SVM(92.20%)를 크게 앞서며 뛰어난 성능을 보였다.
• 최적화된 SVM-PCA 모델을 사용한 완전한 시퀀스 인식 정확도는 89.00%에 도달했으며, 기본 SVM의 경우 44.00%였고 나이브 베이즈는 0.00%였다.
• 최적의 초모수는 C = 50 및 PCA 분산 = 0.9로, 이는 4개의 폴드 교차 검증 정확도 94.78%를 기록하며 가장 높은 성능을 보였다.
• 0에서 9까지의 모든 숫자는 제안된 SVM-PCA 모델에서 훈련 정확도 100%를 달성하여 훈련 세트에서 강력한 일반화 능력을 보였다.
• 노이즈 클래스는 훈련 정확도가 99.93%로 매우 높아, 모델이 말하기 숫자와 노이즈를 효과적으로 구분함을 시사했다.
• 본 연구는 PCA가 음성 CAPTCHA 인식에서 SVM 성능을 크게 향상시킨다는 것을 입증하였으며, 특히 클래스 분포가 불균형한 상황에서의 성능 향상에 기여한다.