[論文レビュー] Towards Privacy and Security of Deep Learning Systems: A Survey.

Yingzhe He, Guozhu Meng+3 more|arXiv (Cornell University)|Nov 28, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本調査は、深層学習システムにおける4つの主要なセキュリティおよびプライバシー脅威であるモデル抽出、モデル逆転、汚染攻撃、および敵対的攻撃について包括的な分析を提供する。攻撃ワークフロー、攻撃者による能力、メトリクスを体系的に評価し、クエリ効率や摂動距離といった重要な要因を特定し、攻撃の有効性、複雑さ、緩和可能性に関する17の実行可能な知見を提示する。

ABSTRACT

Deep learning has gained tremendous success and great popularity in the past few years. However, recent research found that it is suffering several inherent weaknesses, which can threaten the security and privacy of the stackholders. Deep learning's wide use further magnifies the caused consequences. To this end, lots of research has been conducted with the purpose of exhaustively identifying intrinsic weaknesses and subsequently proposing feasible mitigation. Yet few is clear about how these weaknesses are incurred and how effective are these attack approaches in assaulting deep learning. In order to unveil the security weaknesses and aid in the development of a robust deep learning system, we are devoted to undertaking a comprehensive investigation on attacks towards deep learning, and extensively evaluating these attacks in multiple views. In particular, we focus on four types of attacks associated with security and privacy of deep learning: model extraction attack, model inversion attack, poisoning attack and adversarial attack. For each type of attack, we construct its essential workflow as well as adversary capabilities and attack goals. Many pivot metrics are devised for evaluating the attack approaches, by which we perform a quantitative and qualitative analysis. From the analysis, we have identified significant and indispensable factors in an attack vector, \eg, how to reduce queries to target models, what distance used for measuring perturbation. We spot light on 17 findings covering these approaches' merits and demerits, success probability, deployment complexity and prospects. Moreover, we discuss other potential security weaknesses and possible mitigation which can inspire relevant researchers in this area.

研究の動機と目的

• 深層学習システムにおける根本的なセキュリティおよびプライバシー上の弱みの原因と影響を体系的かつ包括的に調査すること。
• モデル抽出、逆転、汚染、敵対的攻撃といった異なる攻撃タイプが実際にはどのように動作するかを明確にすること。
• クエリ効率、摂動距離、成功確率といった標準化されたメトリクスを通じて、攻撃の有効性を評価すること。
• 実世界のシナリオにおける攻撃成功や展開の複雑さに影響を与える重要な要因を特定すること。
• 堅牢な深層学習システムを構築するための潜在的な緩和戦略および今後の研究の方向性を強調すること。

提案手法

• 攻撃を4つのタイプに分類する：モデル抽出、モデル逆転、データ汚染、敵対的攻撃。各タイプの明確なワークフローと攻撃者能力を定義する。
• 各攻撃タイプの攻撃目的と攻撃者能力（例：クエリアクセス、データ操作）を定義する。
• 攻撃性能の評価に用いるピボットメトリクス（クエリ削減、摂動測定など）を導入し、適用する。
• 複数の攻撃ベクトルにわたる定量的および定性的な分析を実施し、有効性と実現可能性を評価する。
• 17の実行可能な知見（攻撃の利点・欠点、成功率、展開の複雑さ）に統合して提示する。
• 今後のセキュリティ上の弱みおよび緩和技術について議論し、堅牢な深層学習システム設計を支援する。

実験結果

リサーチクエスチョン

• RQ1 深層学習におけるモデル抽出、モデル逆転、汚染、敵対的攻撃のコアなワークフローと攻撃者能力は何か？
• RQ2 クエリ効率や摂動距離といった要因が、攻撃の成功や実用的展開にどのように影響を与えるか？
• RQ3 成功率と複雑さの観点から、異なる攻撃アプローチの相対的な長所と短所は何か？
• RQ4 攻撃性能の定量的および定性的な評価に最も効果的なメトリクスは何か？
• RQ5 深層学習システムを保護するための最も有望な緩和戦略と今後の研究の方向性は何か？

主な発見

• ターゲットモデルへのクエリ数を減らすことは、モデル抽出攻撃の効率性と実現可能性を向上させる上で極めて重要な要因である。
• 摂動距離の測定法の選択が、敵対的攻撃の評価と成功に顕著な影響を与える。
• 特定の攻撃者能力がある条件下では、モデル逆転攻撃は高精度で機微な入力データを再構築できる。
• 攻撃者がトレーニングデータにアクセスでき、巧みに設計されたサンプルを注入できる場合、汚染攻撃は高い成功率を示す。
• 小さな摂動でも敵対的攻撃は非常に有効であるが、その成功は摂動を測定するための距離メトリクスに強く依存する。
• 本研究は、攻撃の成功、複雑さ、検知可能性のトレードオフを浮き彫りにする17の重要な知見を特定し、今後の防御メカニズムの設計に役立つ指針を提供する。