[論文レビュー] Towards Security Threats of Deep Learning Systems: A Survey

Yingzhe He, Guozhu Meng+3 more|arXiv (Cornell University)|Nov 28, 2019

Adversarial Robustness in Machine Learning参考文献 255被引用数 11

ひとこと要約

本サーベイは、敵対的攻撃、モデル抽出、モデル逆転、汚染攻撃の4つの主要なディープラーニングの脅威について、そのワークフロー、攻撃者による能力、パフォーマンス指標を体系的に分析する。クエリ効率や摂動距離といった重要な要因を特定し、モデルの耐性強化と今後の防御研究の方向性を示す18の実行可能なイン사이트を提示する。

ABSTRACT

Deep learning has gained tremendous success and great popularity in the past few years. However, deep learning systems are suffering several inherent weaknesses, which can threaten the security of learning models. Deep learning's wide use further magnifies the impact and consequences. To this end, lots of research has been conducted with the purpose of exhaustively identifying intrinsic weaknesses and subsequently proposing feasible mitigation. Yet few are clear about how these weaknesses are incurred and how effective these attack approaches are in assaulting deep learning. In order to unveil the security weaknesses and aid in the development of a robust deep learning system, we undertake an investigation on attacks towards deep learning, and analyze these attacks to conclude some findings in multiple views. In particular, we focus on four types of attacks associated with security threats of deep learning: model extraction attack, model inversion attack, poisoning attack and adversarial attack. For each type of attack, we construct its essential workflow as well as adversary capabilities and attack goals. Pivot metrics are devised for comparing the attack approaches, by which we perform quantitative and qualitative analyses. From the analysis, we have identified significant and indispensable factors in an attack vector, e.g., how to reduce queries to target models, what distance should be used for measuring perturbation. We shed light on 18 findings covering these approaches' merits and demerits, success probability, deployment complexity and prospects. Moreover, we discuss other potential security weaknesses and possible mitigation which can inspire relevant research in this area.

研究の動機と目的

• 敵対的攻撃、モデル抽出、モデル逆転、汚染攻撃の4つの主要なディープラーニングのセキュリティ脅威の攻撃ベクトルを体系的に解体すること。
• 攻撃者による能力、攻撃の目的、各攻撃タイプのフルライフサイクルを分析し、実際の攻撃実行方法を明確にすること。
• 異なる研究間での攻撃アプローチの定量的および定性的比較を可能にする標準化されたピボットメトリクスを確立すること。
• 攻撃効果性、成功確率、展開の複雑さ、制限事項に関する18の主要な発見を抽出し、今後の防御研究を導くこと。
• 潜在的な緩和戦略を検討し、進化を続ける脅威に対するディープラーニングシステムのセキュリティを確保する上で未解決の課題を特定すること。

提案手法

• 敵対的攻撃、モデル抽出、モデル逆転、汚染攻撃の4つの攻撃タイプにわたる245件の出版物を分類・分析した。
• 各タイプの標準化された攻撃ワークフローを構築し、初期アクセスから最終的影響に至るまでのステップバイステップの実行手順を詳細に記述した。
• クエリアクセス、モデルアクセス、データアクセスといった能力に基づいて攻撃者モデルを定義し、脅威の境界を明確にした。
• クエリ効率、摂動距離（例：Lpノルム）、成功率、計算コストといったピボットメトリクスを導入し、異なる攻撃間での比較を可能にした。
• 防御蒸留、特徴圧縮、敵対的訓練、検出ベースの防御といった防御技術を、実測パフォーマンスデータを用いて評価した。
• リソース集約型攻撃のコスト・ベネフィット分析や、現在の防御メカニズムの限界を含む、攻撃のトレードオフに関するインサイトを統合した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングにおける敵対的攻撃、モデル抽出、モデル逆転、汚染攻撃の核心的構成要素と段階的ワークフローは何か？
• RQ2 クエリアクセスやモデルアクセスといった異なる攻撃者能力は、各攻撃タイプの実行可能性と成功確率にどのように影響するか？
• RQ3 異なる脅威モデル間で、多様な攻撃手法のパフォーマンスを公平に比較するために使用できるメトリクスは何か？
• RQ4 攻撃コスト（時間、計算、リソース）と攻撃ベネフィット（例：モデル盗難、データ漏洩）の間の主なトレードオフは何か？
• RQ5 最も効果的な防御戦略は何か？また、それらの限界は実際の展開環境でどのように現れるか？

主な発見

• クエリ効率はモデル抽出攻撃において重要な要因である。クエリ数を桁違いに削減するという点で、依然として主要な未解決課題のままである。
• Lpノルム距離は摂動の測定に常に信頼できる指標ではない。なぜなら、大きな摂動であっても人間には見えにくく、人間の知覚に近い指標の必要性が示唆される。
• 防御蒸留と特徴圧縮は、敵対的例の成功率を顕著に低下させ、一部の手法ではFGSMおよびJSMA攻撃に対して90％以上の耐性を達成している。
• 複数の防御技術を組み合わせること（例：HE + MPC）はセキュリティを向上させるが、帯域幅と遅延の両方でシステムのオーバーヘッドが増加する。
• 攻撃成功はモデルの複雑さとアーキテクチャに強く依存しており、深層ネットワークは勾配ベースの攻撃に対してより脆弱である傾向がある。
• 攻撃のコスト・ベネフィットトレードオフは状況によって非一様であり、一部の攻撃では高い成功率を得るためには、平均して1データポイントあたり156回のシャドウモデル訓練が必要となる（例：156平均クエリ）など、リソース集約型のプロセスを要することがある。