[論文レビュー] Security and Privacy Issues in Deep Learning

Ho Bae, Jaehee Jang+5 more|arXiv (Cornell University)|Jul 31, 2018

Adversarial Robustness in Machine Learning参考文献 236被引用数 58

ひとこと要約

本稿は深層学習におけるセキュリティとプライバシーの脅威を調査し、攻撃を evasion（回避）、poisoning（汚染）に分類し、プライバシー侵害を整理し、cryptographic および privacy-preserving 技術を含む防御機構をレビューします。

ABSTRACT

To promote secure and private artificial intelligence (SPAI), we review studies on the model security and data privacy of DNNs. Model security allows system to behave as intended without being affected by malicious external influences that can compromise its integrity and efficiency. Security attacks can be divided based on when they occur: if an attack occurs during training, it is known as a poisoning attack, and if it occurs during inference (after training) it is termed an evasion attack. Poisoning attacks compromise the training process by corrupting the data with malicious examples, while evasion attacks use adversarial examples to disrupt entire classification process. Defenses proposed against such attacks include techniques to recognize and remove malicious data, train a model to be insensitive to such data, and mask the model's structure and parameters to render attacks more challenging to implement. Furthermore, the privacy of the data involved in model training is also threatened by attacks such as the model-inversion attack, or by dishonest service providers of AI applications. To maintain data privacy, several solutions that combine existing data-privacy techniques have been proposed, including differential privacy and modern cryptography techniques. In this paper, we describe the notions of some of methods, e.g., homomorphic encryption, and review their advantages and challenges when implemented in deep-learning models.

研究の動機と目的

• 実世界の DL 配備における安全でプライベートな AI（SPAI）の必要性を喚起する。
• 訓練と推論の過程での DL モデルに対するセキュリティ脅威を体系的に分類する。
• 回避および poisoning 攻撃に対する防御戦略をレビューする。
• DL システムに対するプライバシー脅威を調査し、暗号技術／プライバシー保護防御を要約する。

提案手法

• 攻撃をフェーズ（訓練 vs 推論）およびアクセス性（white-box vs black-box）で分類する。
• evasion 攻撃（FGSM、CW、JSMA、BPDA、transfer/black-box 攻撃）および poisoning 攻撃（性能低下、標的汚染、バックドア）を説明する。
• evasion に対する防御アプローチ（gradient masking、robustness、detection、certification）を要約する。 poisoning 防御（データ異常検知、剪定、ファインチューニング）を議論する。
• プライバシーの脅威（モデル inversion、マルチパーティデータ）と防御（differential privacy、homomorphic encryption、secure multiparty computation）を論じる。
• 実用的な攻撃タイプ（universal perturbations、boundary/zeroth-order/one-pixel attacks）および AI システムにおける backdoor/trojaning 戦略を強調する。

実験結果

リサーチクエスチョン

• RQ1 訓練および推論の過程で DL モデルに対する主なセキュリティ攻撃のカテゴリと特性は何か。
• RQ2 evasion および poisoning 攻撃に対する防御アプローチは何であり、それらの限界は何か。
• RQ3 マルチパーティまたはアウトソーシング設定において DL システムに影響を及ぼすプライバシー脅威は何か、それらに対処する暗号技術／プライバシー保護手法は何か。
• RQ4 SPAI の概念は、堅牢でプライベートな AI の開発をどのように導くか。

主な発見

• evasion 攻撃は white-box でも black-box でも可能であり、FGSM、反復的 FGSM、CW、JSMA、および universal perturbations が、成功度とコストが異なる形で含まれる。
• poisoning 攻撃は性能低下、標的汚染、バックドア攻撃の三分類に分けられ、防御として異常検知やロバストな学習戦略がある。
• evasion に対する防御技術には gradient masking、robustness の向上、検知、および認証が含まれ、poisoning 防御はデータのフィルタリングとクリーンデータでの再訓練に依存する。
• プライバシー攻撃（モデル inversion やデータ漏洩）は、DL ワークフローにおける differential privacy、homomorphic encryption、secure multiparty computation の利用を促進する。