[論文レビュー] Captcha Attack: Turning Captchas Against Humanity

Mauro Conti, Luca Pajola+1 more|arXiv (Cornell University)|Jan 11, 2022

User Authentication and Security Systems被引用数 4

ひとこと要約

本稿では、オンラインのソーシャルネットワークにおける自動コンテンツモデレーター（ACM）を回避するために、カスタムテキスト型CAPTCHAを悪用する新規の対人攻撃CAPAを紹介する。誤字、スタイリッシュなフォント、複雑な背景を用いて、古典的なCAPTCHAに類似した変形テキストを生成することで、OCRおよびNLPベースの検出を回避し、実世界のACMシステムにおいて最大100％の回避成功率を達成した。これは、現在のコンテンツモデレーションパイプラインにおける深刻な脆弱性を浮き彫りにしている。

ABSTRACT

Nowadays, people generate and share massive content on online platforms (e.g., social networks, blogs). In 2021, the 1.9 billion daily active Facebook users posted around 150 thousand photos every minute. Content moderators constantly monitor these online platforms to prevent the spreading of inappropriate content (e.g., hate speech, nudity images). Based on deep learning (DL) advances, Automatic Content Moderators (ACM) help human moderators handle high data volume. Despite their advantages, attackers can exploit weaknesses of DL components (e.g., preprocessing, model) to affect their performance. Therefore, an attacker can leverage such techniques to spread inappropriate content by evading ACM. In this work, we propose CAPtcha Attack (CAPA), an adversarial technique that allows users to spread inappropriate text online by evading ACM controls. CAPA, by generating custom textual CAPTCHAs, exploits ACM's careless design implementations and internal procedures vulnerabilities. We test our attack on real-world ACM, and the results confirm the ferocity of our simple yet effective attack, reaching up to a 100% evasion success in most cases. At the same time, we demonstrate the difficulties in designing CAPA mitigations, opening new challenges in CAPTCHAs research area.

研究の動機と目的

• オンラインのソーシャルネットワークにおけるユーザーが、テキスト型CAPTCHAに類似した変形技術を用いて自動コンテンツモデレーター（ACM）を回避する方法を調査すること。
• CAPTCHAの概念を逆転させ、人間が生成する変形テキストがどのようにACMを回避できるかを示すこと。
• 最小限のシステム知識で、テキスト型CAPTCHAに類似した変形テキストを活用してACM検出を回避する実用的な対人攻撃CAPAを提案すること。
• このような攻撃に対する防御メカニズムとしての外れ値検出の実現可能性と有効性を評価すること。
• 悪意のある回避行動と良性の変形を区別する際の未解決課題を特定し、新たな検出およびクリーニングツールの開発を呼びかけること。

提案手法

• Instagram、Facebook、Twitterなどのソーシャルメディアプラットフォームから、実世界の変形コンテンツの例を収集し、leet speak、スタイリッシュな文字、背景ノイズなどを含む変形技術の分類を構築した。
• 攻撃者は、悪意のあるコンテンツにこれらの変形パターンを適用することで、カスタムテキスト型CAPTCHAを生成するCAPAという攻撃フレームワークを設計した。これにより、視覚的には人間が読み取り可能だが、機械には曖昧なテキストが得られる。
• 攻撃は、OCRおよびNLPコンponentsのACMにおける弱みを突く。特に、変形が特徴抽出を妨げる前処理および推論段階を標的としている。
• 実世界のACMシステムに対してCAPAを評価し、複数のプラットフォームで最大100％の回避率を示した。
• 防御策として、次元削減（PCA）を経て、Isolation Forest、LOF、ECOD、One-Class SVMなどのアルゴリズムを用いて外れ値検出を実施した。
• グリッドサーチを用いて、混入率およびハイパーパrameterを最適化し、Pinterest、Twitter、Yahoo-Flickrのデータセットを用いてF1スコアで性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 オンラインのソーシャルネットワークにおけるユーザーは、テキスト型CAPTCHAに類似した変形技術をどのようにして自動コンテンツモデレーター（ACM）を回避しているか？
• RQ2 特定のターゲットモデルの知識がなくても、カスタム生成されたテキスト型CAPTCHAは、最新のACMシステムをどれほど効果的に回避できるか？
• RQ3 外れ値検出技術は、実世界のソーシャルメディアデータにおけるCAPTCHAに類似した変形コンテンツを効果的に特定できるか？
• RQ4 未知または未確認の変形スタイルに直面した際、検出モデルの一般化能力はどの程度か？
• RQ5 コンテンツモデレーションにおいて、良性の変形と悪意のある回避行動を区別する際の根本的な課題は何か？

主な発見

• CAPAは、実世界のACMシステムに対して最大100％の回避成功率を達成し、攻撃の実用的妥当性を示した。
• 局所外れ値要因（LOF）アルゴリズムは、3つのソーシャルメディアプラットフォームで、変形されたCAPTCHAに類似したコンテンツを検出する平均F1スコア80％を達成した。
• 4種類の既知の変形スタイルがあれば、検出性能が安定することが示され、スタイル一般化に対する耐性が確認された。
• 誤検出は平均して、良性の投稿の約9％にのぼり、その大部分はテキストを背景に重ねたもの、または画像内のテキストに起因していた。
• 特に背景が複雑な画像内のテキストは、誤検出の主な要因であり、現在の検出ヒューリスティクスの限界を示唆している。
• 本研究は、既存のACMがモデルレベルの攻撃に加え、OCRおよびNLPパイプラインの弱みを突く入力レベルの変形に対しても脆弱であることを明らかにした。