[論文レビュー] Explainable Black-Box Attacks Against Model-based Authentication

Washington García, Joseph I. Choi+3 more|arXiv (Cornell University)|Sep 28, 2018

User Authentication and Security Systems参考文献 35被引用数 10

ひとこと要約

本稿では、被害者の特徴やモデルの信頼度スコアを事前に知らない状態で、LIME などの可視化AI（XAI）技術を用いて意思決定境界を逆算することで、モデルベース認証システムに対する新しいクエリ効率の高いブラックボックス攻撃を提案する。攻撃は顔認証システムでは130クエリ未塔、ホスト認証システムでは100クエリ未塔で成功した偽装を達成した。

ABSTRACT

Establishing unique identities for both humans and end systems has been an active research problem in the security community, giving rise to innovative machine learning-based authentication techniques. Although such techniques offer an automated method to establish identity, they have not been vetted against sophisticated attacks that target their core machine learning technique. This paper demonstrates that mimicking the unique signatures generated by host fingerprinting and biometric authentication systems is possible. We expose the ineffectiveness of underlying machine learning classification models by constructing a blind attack based around the query synthesis framework and utilizing Explainable-AI (XAI) techniques. We launch an attack in under 130 queries on a state-of-the-art face authentication system, and under 100 queries on a host authentication system. We examine how these attacks can be defended against and explore their limitations. XAI provides an effective means for adversaries to infer decision boundaries and provides a new way forward in constructing attacks against systems using machine learning models for authentication.

研究の動機と目的

• モデルベース認証システムが、被害者の特徴やモデルの信頼度スコアを知らないままにブラックボックス攻撃に対して脆弱であることを示すこと。
• LIME などの可視化AI（XAI）技術が、攻撃者によって意思決定境界を推定するために再利用可能かどうかを調査すること。
• クエリ数が限られ、かつ認証オラクルから二値（成功／失敗）フィードバックしか得られないという厳しい制約下で、クエリ効率の高い攻撃フレームワークを開発すること。
• 最先端の生体認証およびホスト認証システムに対して、XAI支援の摂動戦略（例：ランダムピクセル摂動やVAE潜在空間摂動）の有効性を評価すること。
• 実世界の認証シナリオにおける、こうした攻撃の限界と防御可能性を検討すること。

提案手法

• 攻撃は、認証オラクルへの繰り返しのプローブを用いて、二値の応答（成功／失敗）のみを入力として、敵対的入力を生成するクエリ合成フレームワークを採用する。
• LIMEに基づくXAI技術を用いて、摂動を加えた入力に対する予測の局所的で忠実な説明を生成することで、モデルの挙動を解釈する。
• LIMEの説明が示唆する方向に、分類結果に影響を与える最も重要な特徴を摂動することで、敵対的例を構築する。
• 2種類の摂動戦略を用いる：ランダムピクセル摂動と、変分オートエンコーダー（VAE）を用いた潜在空間操作、両者ともLIMEの説明に従って、誤分類の可能性を最大化するように設計されている。
• 攻撃は、被害者の生体的特徴やシステム特徴を事前に知らない完全なブラインド攻撃として設計されており、オラクルの二値出力とXAI駆動の特徴重要度分析にのみ依存する。
• XAIのインサイトに従って繰り返し的確なクエリを実行することで、顔認識やホスト指紋認証を含むさまざまな認証モダリティに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 LIME などのXAI技術が、二値フィードバックのみを用いて、ブラックボックス認証モデルの意思決定境界を効果的に再利用可能か。
• RQ2 最先端の生体認証およびホストベース認証システムを標的とした場合、攻撃のクエリ数の効率性はどの程度か。
• RQ3 XAIガイドドの摂動戦略（例：ランダムピクセルまたはVAE潜在空間）が、従来の画像歪み手法に比べて、認証モデルをだます効果性にどの程度優れているか。
• RQ4 モデルの信頼度スコアやクラスレベル出力が公開されていない場合、こうした攻撃の固有の限界は何か。
• RQ5 被害者の特徴に関するあらゆる事前知識が不要であるため、攻撃が実世界の脅威モデルにおいて真正にブラインドかつ実用的か。

主な発見

• 本攻撃は、最先端の顔認証システムにおいて130クエリ未塔でユーザーの偽装に成功し、高い効率性と低いクエリオーバーヘッドを示した。
• ホストベース認証システムでは100クエリ未塔で成功を達成し、異なる認証モダリティにおいても有効であることを確認した。
• LIME などのXAI技術により、信頼度スコアやクラス確率にアクセスできない状況でも、モデルの意思決定境界を高精度で推定可能である。
• VAE潜在空間摂動は、ランダムピクセル摂動よりも、認証を回避できる現実的で高品質な敵対的入力を生成する上でより効果的であった。
• 攻撃は完全にブラインドである（被害者の生体的・システム的特徴を一切知らない）ため、実世界の脅威モデルにおいて極めて実用的である。
• 本研究により、モデルベース認証システムは標的攻撃に脆弱であるだけでなく、クエリベースでXAIを支援する意思決定境界の逆算によっても脅かされる可能性があることが明らかになった。