[논문 리뷰] Captcha Attack: Turning Captchas Against Humanity

Mauro Conti, Luca Pajola외 1명|arXiv (Cornell University)|2022. 01. 11.

User Authentication and Security Systems인용 수 4

한 줄 요약

이 논문은 온라인 소셜 네트워크에서 자동 콘텐츠 모니터링 시스템(ACM)을 회피하기 위해 고유한 텍스트 기반 CAPTCHA를 활용하는 새로운 악성 공격인 CAPA를 소개한다. 유저가 타이포, 스타일화된 폰트, 복잡한 배경을 사용해 고전적인 CAPTCHA와 유사하게 왜곡된 텍스트를 생성함으로써, OCR 및 NLP 기반 탐지 기술을 회피한다. 실제 ACM 시스템에서 최대 100%의 회피 성공률를 기록하며, 현재의 콘텐츠 모니터링 파이프라인에 심각한 취약점을 드러낸다.

ABSTRACT

Nowadays, people generate and share massive content on online platforms (e.g., social networks, blogs). In 2021, the 1.9 billion daily active Facebook users posted around 150 thousand photos every minute. Content moderators constantly monitor these online platforms to prevent the spreading of inappropriate content (e.g., hate speech, nudity images). Based on deep learning (DL) advances, Automatic Content Moderators (ACM) help human moderators handle high data volume. Despite their advantages, attackers can exploit weaknesses of DL components (e.g., preprocessing, model) to affect their performance. Therefore, an attacker can leverage such techniques to spread inappropriate content by evading ACM. In this work, we propose CAPtcha Attack (CAPA), an adversarial technique that allows users to spread inappropriate text online by evading ACM controls. CAPA, by generating custom textual CAPTCHAs, exploits ACM's careless design implementations and internal procedures vulnerabilities. We test our attack on real-world ACM, and the results confirm the ferocity of our simple yet effective attack, reaching up to a 100% evasion success in most cases. At the same time, we demonstrate the difficulties in designing CAPA mitigations, opening new challenges in CAPTCHAs research area.

연구 동기 및 목표

• 온라인 소셜 네트워크 사용자가 텍스트 기반 CAPTCHA와 유사한 왜곡 기법을 사용해 자동 콘텐츠 모니터링 시스템(ACM)을 어떻게 회피하는지 조사한다.
• CAPTCHA의 개념을 뒤집어보며, 인간이 생성한 왜곡 기법이 어떻게 ACM을 우회하는 데 악용될 수 있는지 분석한다.
• 최소한의 시스템 지식으로도 ACM 탐지 회피가 가능한 실용적인 악성 공격인 CAPA를 제안한다.
• 이러한 공격에 대비한 이상치 탐지 기법이 방어 수단으로서의 타당성과 효과성을 평가한다.
• 유해한 악성 회피와 양호한 왜곡 간의 구분 문제를 규명하고, 새로운 탐지 및 정제 도구의 필요성을 제기한다.

제안 방법

• Instagram, Facebook, Twitter 등의 소셜 미디어 플랫폼에서 실제 왜곡된 콘텐츠 예시를 수집하여, 레트 스피크, 스타일화된 문자, 배경 노이즈 등 왜곡 기법의 분류 체계를 수립하였다.
• 악성 콘텐츠에 이러한 왜곡 패턴을 적용하여 사용자에게는 가독성이 높지만 기계에는 모호한 텍스트 기반 CAPTCHA를 생성하는 공격 프레임워크인 CAPA를 설계하였다.
• 공격는 ACM의 OCR 및 NLP 컴ponent의 취약점을 악용하며, 특히 왜곡이 특징 추출 과정을 방해하는 전처리 및 추론 단계를 공격 대상으로 삼는다.
• 실제 ACM 시스템에 CAPA를 평가하여, 여러 플랫폼에서 최대 100%의 회피율을 입증하였다.
• 방어를 위해 차원 축소(PCA)를 적용한 후 Isolation Forest, LOF, ECOD, One-Class SVM 등의 알고리즘을 사용해 이상치 탐지 기법을 적용하였다.
• 모델의 성능 최적화를 위해 컨테이밍 수준과 하이퍼파라미터를 그리드 서치로 조정하였으며, Pinterest, Twitter, Yahoo-Flickr 데이터셋을 사용해 F1-score 기반 성능 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 온라인 소셜 네트워크 사용자들은 현재 텍스트 기반 CAPTCHA와 유사한 왜곡 기법을 통해 자동 콘텐츠 모니터링 시스템을 어떻게 회피하고 있는가?
• RQ2 목표 모델의 지식 없이도 커스터마이징된 텍스트 기반 CAPTCHA가 최신 ACM 시스템을 얼마나 효과적으로 우회할 수 있는가?
• RQ3 이상치 탐지 기법은 실제 소셜 미디어 데이터에서 CAPTCHA 유사 왜곡 콘텐츠를 효과적으로 식별할 수 있는가?
• RQ4 알 수 없는 또는 미리 보지 못한 왜곡 스타일에 직면했을 때 탐지 모델의 일반화 능력은 어떠한가?
• RQ5 콘텐츠 모니터링에서 유해한 악성 회피와 양호한 왜곡을 구분하는 데 있어 근본적인 과제는 무엇인가?

주요 결과

• CAPA는 실제 ACM 시스템에 대해 최대 100%의 회피 성공률를 기록하며, 공격의 높은 실용성을 입증하였다.
• 국소 이상치 요인(LOF) 알고리즘은 세 개의 소셜 미디어 플랫폼에서 왜곡된 CAPTCHA 유사 콘텐츠 탐지에 평균 F1-score 80%를 기록하였다.
• 오직 네 가지의 알려진 왜곡 스타일만으로도 성능이 안정화됨을 확인하여, 스타일 일반화에 대한 강건성을 입증하였다.
• 일반적으로 약 9%의 양호한 게시물에서 가짜 경고가 발생했으며, 대부분은 텍스트-배경 오버랩 또는 이미지 내 텍스트 콘텐츠에서 기인하였다.
• 특히 어려운 배경을 가진 이미지 내 텍스트 콘텐츠는 주요 가짜 경고 원인이었으며, 기존 탐지 히ュ리스틱의 한계를 드러냈다.
• 본 연구는 기존 ACM이 모델 수준의 공격 뿐 아니라, OCR 및 NLP 파이프라인의 취약점을 악용하는 입력 수준의 왜곡 공격에도 취약하다는 점을 규명하였다.