[论文解读] Captcha Attack: Turning Captchas Against Humanity

Mauro Conti, Luca Pajola+1 more|arXiv (Cornell University)|Jan 11, 2022

User Authentication and Security Systems被引用 4

一句话总结

本文提出CAPA，一种新颖的对抗性攻击方法，通过利用定制化的文本型CAPTCHA来绕过在线社交网络中的自动内容审核系统（ACM）。通过生成类似经典CAPTCHA的混淆文本——包括拼写错误、特殊字体和复杂背景——该攻击可规避OCR与基于NLP的检测机制，在真实世界的ACM系统中实现高达100%的绕过成功率，揭示了当前内容审核流水线中的关键安全漏洞。

ABSTRACT

Nowadays, people generate and share massive content on online platforms (e.g., social networks, blogs). In 2021, the 1.9 billion daily active Facebook users posted around 150 thousand photos every minute. Content moderators constantly monitor these online platforms to prevent the spreading of inappropriate content (e.g., hate speech, nudity images). Based on deep learning (DL) advances, Automatic Content Moderators (ACM) help human moderators handle high data volume. Despite their advantages, attackers can exploit weaknesses of DL components (e.g., preprocessing, model) to affect their performance. Therefore, an attacker can leverage such techniques to spread inappropriate content by evading ACM. In this work, we propose CAPtcha Attack (CAPA), an adversarial technique that allows users to spread inappropriate text online by evading ACM controls. CAPA, by generating custom textual CAPTCHAs, exploits ACM's careless design implementations and internal procedures vulnerabilities. We test our attack on real-world ACM, and the results confirm the ferocity of our simple yet effective attack, reaching up to a 100% evasion success in most cases. At the same time, we demonstrate the difficulties in designing CAPA mitigations, opening new challenges in CAPTCHAs research area.

研究动机与目标

• 调查在线社交网络中的用户如何利用类似文本型CAPTCHA的混淆技术绕过自动内容审核系统（ACM）。
• 通过揭示人类生成的混淆形式如何被武器化以绕过ACM，实现对CAPTCHA概念的逆向工程。
• 提出CAPA，一种实用的对抗性攻击方法，利用类似文本CAPTCHA的混淆形式，在几乎不掌握系统知识的情况下成功绕过ACM检测。
• 评估异常检测作为防御机制在应对此类攻击时的可行性与有效性。
• 识别在区分良性混淆与恶意绕过行为方面的开放性挑战，并呼吁开发新型检测与净化工具。

提出的方法

• 作者从Instagram、Facebook和Twitter等社交平台收集了真实世界中的混淆内容实例，构建了混淆技术的分类体系，包括Leet语、样式化字符以及背景噪声。
• 设计了CAPA，一种攻击框架，通过将这些混淆模式应用于恶意内容，生成定制化的文本型CAPTCHA，使其在视觉上对人类可读，但对机器造成歧义。
• 该攻击利用ACM中OCR与NLP组件的弱点，特别是针对预处理和推理阶段，其中混淆干扰了特征提取过程。
• 在真实世界的ACM系统上评估了CAPA，展示了在多个平台上的绕过率最高可达100%。
• 在防御方面，采用异常检测方法，先通过主成分分析（PCA）进行降维，再结合孤立森林（Isolation Forest）、局部异常因子（LOF）、ECOD和一类支持向量机（One-Class SVM）等算法，检测异常的、类似CAPTCHA的混淆内容。
• 通过在污染率和超参数上进行网格搜索调优模型，并在Pinterest、Twitter和Yahoo-Flickr的数据集上使用F1-score评估性能。

实验结果

研究问题

• RQ1 在线社交网络中的用户目前如何利用类似文本型CAPTCHA的混淆技术绕过自动内容审核系统？
• RQ2 在不掌握目标模型信息的情况下，自定义生成的文本型CAPTCHA能在多大程度上绕过最先进的ACM系统？
• RQ3 异常检测技术能否有效识别真实社交媒体数据中类似CAPTCHA的混淆内容？
• RQ4 当面对未知或未见过的混淆风格时，检测模型的泛化能力如何？
• RQ5 在内容审核中，区分良性混淆与恶意绕过行为的根本挑战是什么？

主要发现

• CAPA在真实世界的ACM系统上实现了高达100%的绕过成功率，证明了该攻击在实际应用中的高度可行性。
• 局部异常因子（LOF）算法在三个社交平台中检测类似CAPTCHA的混淆内容时，平均F1-score达到80%。
• 当已知的混淆风格数量少至四个时，异常检测性能即趋于稳定，表明其对风格泛化的鲁棒性。
• 平均约9%的良性帖子被误报为异常，其中大多数源于文本叠加在背景上或图像中的文字内容。
• 图像中的文字内容——尤其是背景复杂的场景——是主要的误报来源，表明当前检测启发式方法存在局限性。
• 本研究揭示，现有ACM不仅易受模型层面的对抗性攻击影响，也极易受到输入层面的混淆攻击，后者利用了OCR与NLP处理流水线中的弱点。