[论文解读] Deep-CAPTCHA: a deep learning based CAPTCHA solver for vulnerability assessment

Zahra Noury, Mahdi Rezaei|arXiv (Cornell University)|Jun 15, 2020

User Authentication and Security Systems被引用 5

一句话总结

本文提出 Deep-CAPTCHA，一种专为数值型 CAPTCHA 设计的卷积神经网络（CNN），通过利用包含 500,000 幅合成 CAPTCHA 图像的数据集，在数值型 CAPTCHA 上实现 98.94% 的准确率，在字母数字型 CAPTCHA 上实现 98.31% 的准确率。该模型采用并行 Softmax 层实现多字符识别，揭示了现有 CAPTCHA 生成器中的关键安全漏洞，并通过对抗性分析提升了系统的鲁棒性。

ABSTRACT

CAPTCHA is a human-centred test to distinguish a human operator from bots, attacking programs, or other computerised agents that tries to imitate human intelligence. In this research, we investigate a way to crack visual CAPTCHA tests by an automated deep learning based solution. The goal of this research is to investigate the weaknesses and vulnerabilities of the CAPTCHA generator systems; hence, developing more robust CAPTCHAs, without taking the risks of manual try and fail efforts. We develop a Convolutional Neural Network called Deep-CAPTCHA to achieve this goal. The proposed platform is able to investigate both numerical and alphanumerical CAPTCHAs. To train and develop an efficient model, we have generated a dataset of 500,000 CAPTCHAs to train our model. In this paper, we present our customised deep neural network model, we review the research gaps, the existing challenges, and the solutions to cope with the issues. Our network's cracking accuracy leads to a high rate of 98.94% and 98.31% for the numerical and the alpha-numerical test datasets, respectively. That means more works is required to develop robust CAPTCHAs, to be non-crackable against automated artificial agents. As the outcome of this research, we identify some efficient techniques to improve the security of the CAPTCHAs, based on the performance analysis conducted on the Deep-CAPTCHA model.

研究动机与目标

• 通过基于自动化深度学习的破解方法，识别并分析视觉 CAPTCHA 系统中的安全漏洞。
• 开发一种稳健且可扩展的深度学习模型，能够在真实扭曲条件下识别数值型和字母数字型 CAPTCHA。
• 生成一个大规模、多样化的 500,000 幅合成 CAPTCHA 数据集，以有效训练和评估模型。
• 通过识别使 CAPTCHA 易受 AI 攻击的设计缺陷，提升 CAPTCHA 生成的安全性。
• 为设计对自动化对抗性代理更具抵抗力的 CAPTCHA 提供可操作的见解。

提出的方法

• 设计了一种带有并行 Softmax 层的定制深度 CNN 架构，用于多字符输出预测，相比单输出模型显著提升了准确率。
• 使用受控扭曲（包括噪声、旋转和字体变化）生成的 500,000 幅 CAPTCHA 图像合成数据集对模型进行训练。
• 图像预处理包括归一化和数据增强，以提升在不同 CAPTCHA 风格下的泛化能力。
• 通过批量归一化和 ReLU 激活函数优化网络架构，加速收敛并提高训练稳定性。
• 在数值型（5 位数字）和字母数字型（字母与数字混合）CAPTCHA 类型上对模型进行评估，并分别计算各类别的准确率指标。
• 消融研究对比了仅使用 Sigmoid 输出层的模型性能，证明并行 Softmax 在多字符识别中具有显著优势。

实验结果

研究问题

• RQ1 定制的 CNN 架构在破解具有复杂扭曲的现代视觉 CAPTCHA 时效果如何？
• RQ2 在大规模合成 CAPTCHA 数据集上训练的深度学习模型能达到多高的准确率？
• RQ3 与单输出方法相比，并行 Softmax 层在 CAPTCHA 识别中如何提升多字符识别性能？
• RQ4 当前 CAPTCHA 生成系统中存在哪些关键安全漏洞，使其易受自动化深度学习攻击？
• RQ5 所提出的模型在可变字符长度和复杂字符集的 CAPTCHA 上具有多大程度的泛化能力？

主要发现

• 所提出的 Deep-CAPTCHA 模型在数值型 CAPTCHA 图像上达到 98.94% 的测试准确率，显著优于同类基准测试中的现有 SOTA 方法。
• 在字母数字型 CAPTCHA 上，模型实现 98.31% 的准确率，表明其在混合字符集上具有强大的泛化能力。
• 与仅使用 Sigmoid 激活函数的基线模型相比，并行 Softmax 层使识别性能提升超过 8%。
• 模型在大规模合成数据集（500,000 个样本）上表现出高准确率，表明其具备强大泛化能力，即使在未见过的扭曲条件下也能保持良好性能。
• 尽管性能优异，该模型在处理具有歧义字符的 CAPTCHA（如 '0' 与 'O'、'l' 与 'I'）时仍表现吃力，揭示了 CAPTCHA 生成器中长期存在的设计缺陷。
• 本研究发现，当前 CAPTCHA 系统仍易受深度学习攻击，亟需采用更稳健的设计原则以抵御自动化破解引擎。