[論文レビュー] Deep-CAPTCHA: a deep learning based CAPTCHA solver for vulnerability assessment

Zahra Noury, Mahdi Rezaei|arXiv (Cornell University)|Jun 15, 2020

User Authentication and Security Systems被引用数 5

ひとこと要約

本論文では、50万枚の合成CAPTCHA画像からなるデータセットを活用して、数値型CAPTCHAでは98.94%、アルファヌメリック型CAPTCHAでは98.31%の精度を達成するカスタム畳み込みニューラルネットワーク（CNN）であるDeep-CAPTCHAを提案する。モデルは並列Softmax層を用いて複数文字の同時認識を実現し、既存のCAPTCHA生成アルゴリズムにおける深刻な脆弱性を明らかにし、敵対的解析を通じてより高い耐性を持つ設計の改善を可能にする。

ABSTRACT

CAPTCHA is a human-centred test to distinguish a human operator from bots, attacking programs, or other computerised agents that tries to imitate human intelligence. In this research, we investigate a way to crack visual CAPTCHA tests by an automated deep learning based solution. The goal of this research is to investigate the weaknesses and vulnerabilities of the CAPTCHA generator systems; hence, developing more robust CAPTCHAs, without taking the risks of manual try and fail efforts. We develop a Convolutional Neural Network called Deep-CAPTCHA to achieve this goal. The proposed platform is able to investigate both numerical and alphanumerical CAPTCHAs. To train and develop an efficient model, we have generated a dataset of 500,000 CAPTCHAs to train our model. In this paper, we present our customised deep neural network model, we review the research gaps, the existing challenges, and the solutions to cope with the issues. Our network's cracking accuracy leads to a high rate of 98.94% and 98.31% for the numerical and the alpha-numerical test datasets, respectively. That means more works is required to develop robust CAPTCHAs, to be non-crackable against automated artificial agents. As the outcome of this research, we identify some efficient techniques to improve the security of the CAPTCHAs, based on the performance analysis conducted on the Deep-CAPTCHA model.

研究の動機と目的

• 自動化された深層学習ベースの解読手法を用いて、視覚的CAPTCHAシステムにおける脆弱性を特定・分析すること。
• 現実的な歪みを伴う状況下でも、数値型およびアルファヌメリック型CAPTCHAを両方認識可能な、堅牢でスケーラブルな深層学習モデルの開発。
• モデルの有効な訓練および評価を可能にするために、50万件の合成CAPTCHA画像からなる大規模かつ多様なデータセットの構築。
• AIベースの攻撃に対して脆弱である原因となる設計上の欠陥を同定することで、CAPTCHA生成のセキュリティ向上。
• 自動化された敵対的エージェントに対して耐性を持つCAPTCHAの設計に役立つ実用的知見の提供。

提案手法

• 複数文字の出力予測を向上させるために、並列Softmax層を搭載したカスタム深層CNNアーキテクチャを設計。単一出力モデルに比べて精度が向上。
• ノイズ、回転、フォントの変更などの制御された歪みを加えた50万枚の合成CAPTCHA画像データセットを用いてモデルを学習。
• 一般化性能の向上を目的に、正規化とオーグメンテーションを含む画像前処理を実施。
• バッチ正規化とReLU活性化関数を用いてネットワークアーキテクチャを最適化し、収束速度の向上と学習安定性の改善を達成。
• 5桁の数値型と、英数字が混在するアルファヌメリック型の両方のCAPTCHAタイプに対して評価を実施し、分類ごとに別々の精度指標を算出。
• アブレーションスタディでは、Sigmoidのみの出力層を用いたベースラインモデルと比較し、並列Softmaxが多文字認識において優れていることを実証。

実験結果

リサーチクエスチョン

• RQ1 複雑な歪みを伴う現代の視覚的CAPTCHAに対して、カスタムCNNアーキテクチャはどの程度の効果を発揮するか？
• RQ2 大規模な合成CAPTCHAデータセットで学習された深層学習モデルは、どの程度の精度に達するか？
• RQ3 並列Softmax層は、単一出力アプローチに比べて、CAPTCHA解読における多文字認識性能をどのように向上させるか？
• RQ4 現在のCAPTCHA生成システムに、自動化された深層学習攻撃に対して脆弱である主な要因となる脆弱性は何か？
• RQ5 提案されたモデルは、文字数が可変で複雑な文字セットを含むCAPTCHAに対しても、どの程度一般化可能か？

主な発見

• 提案されたDeep-CAPTCHAモデルは、数値型CAPTCHA画像に対して98.94%のテスト精度を達成し、同等のベンチマークで以前の最先端手法を大きく上回った。
• アルファヌメリック型CAPTCHAでは98.31%の精度を達成し、混合文字セットへの一般化性能が優れていた。
• 並列Softmax層の導入により、単一出力にSigmoidのみを用いたベースラインモデルに比べ、認識性能が8%以上向上した。
• 50万件のサンプルからなる大規模な合成データセット上での高い精度は、未観測の歪みに対しても強力な一般化能力を示している。
• 高い性能にもかかわらず、曖昧な文字（例：'0' と 'O'、'l' と 'I'）を含むCAPTCHAでは困難を示し、CAPTCHA生成アルゴリズムにおける継続的な設計上の欠陥を浮き彫りにした。
• 本研究では、現在のCAPTCHAシステムが深層学習ベースの攻撃に対して依然として脆弱であることが判明し、自動化された解読エンジンに耐性を持つ設計原理の強化が不可欠であることが示された。