[論文レビュー] On the Connection between Differential Privacy and Adversarial Robustness in Machine Learning

Mathias Lécuyer, Vaggelis Atlidakis+3 more|arXiv (Cornell University)|Feb 9, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用数 14

ひとこと要約

この論文では、深層ニューラルネットワークにおける adversarial examples に対する堅牢性について、形式的で理論的な保証を提供するため、微分プライバシー（DP）を活用する PixelDP という手法を提案している。DP で訓練されたモデルにより、予測が 1-ノルムおよび 2-ノルムの有界な摂動に対して頑健であることが保証され、入力の 40–60% において、攻撃下での最先端の精度を達成するとともに、認証可能な堅牢性を提供する。

ABSTRACT

Adversarial examples in machine learning has been a topic of intense research interest, with attacks and defenses being developed in a tight back-and-forth. Most past defenses are best-effort, heuristic approaches that have all been shown to be vulnerable to sophisticated attacks. More recently, rigorous defenses that provide formal guarantees have emerged, but are hard to scale or generalize. A rigorous and general foundation for designing defenses is required to get us off this arms race trajectory. We propose leveraging differential privacy (DP) as a formal building block for robustness against adversarial examples. We observe that the semantic of DP is closely aligned with the formal definition of robustness to adversarial examples. We propose PixelDP, a strategy for learning robust deep neural networks based on formal DP guarantees. PixelDP networks give theoretical guarantees for a subset of their predictions regarding the robustness against adversarial perturbations of bounded size. Our evaluation with MNIST, CIFAR-10, and CIFAR-100 shows that PixelDP networks achieve accuracy under attack on par with the best-performing defense to date, but additionally certify robustness against meaningful-size 1-norm and 2-norm attacks for 40-60% of their predictions. Our experience points to DP as a rigorous, broadly applicable, and mechanism-rich foundation for robust machine learning.

研究の動機と目的

• 深層学習における adversarial examples に対する厳密で一般化可能な防御の欠如に対処すること。
• 適応的攻撃に対して脆弱なヒューリスティックな防御の限界を克服すること。
• 微分プライバシーをコアとなる構成要素として用いることで、堅牢な機械学習の形式的基盤を確立すること。
• スケーラブルでメカニズム豊富な方法で、有界な adversarial 摂動に対して理論的保証を提供すること。
• DP を用いた訓練が、攻撃下での高精度と、予測の顕著な割合に対する認証可能な堅牢性を同時に達成できることを示すこと。

提案手法

• モデルの予測が小さな入力摂動に対して感度が低くならないように、深層ニューラルネットワークの学習プロセスに微分プライバシーを適用する。
• ノイズ注入を伴う DP-SGD（微分プライバシー付き確率的勾配降下法）を用いて、形式的なプライバシー保証を持つモデルを訓練し、それが堅牢性に直結するようにする。
• プライバシー予算（ε）に基づいて堅牢性の証明を導出し、1-ノルムおよび 2-ノルムの有界な摂動に対して予測が変化しないことを保証する。
• モデル出力が入力変更に対してどれほど感度があるかを考慮して、個々の予測に対する堅牢性証明を計算・伝搬するメカニズムを設計する。
• DP の不辺識性の概念と adversarial 堅牢性の間の意味的整合性を活用し、堅牢性保証を形式的に定式化する。
• DP 訓練と個別予測に対する堅牢性認証を統合した、訓練および推論パイプラインとして PixelDP を実装する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーは、深層学習における adversarial 堅牢性の形式的基盤として機能できるか？
• RQ2 DP を用いた訓練は、1-ノルムおよび 2-ノルムの有界な adversarial 攻撃に対して、どの程度認証可能な堅牢性を提供できるか？
• RQ3 攻撃下での精度という観点から、DP を用いたモデルの堅牢性は、最先端のヒューリスティックな防御と比べてどの程度か？
• RQ4 提案された DP を用いた手法により、どの程度の割合の予測を形式的に堅牢であると認証できるか？
• RQ5 提案手法は、MNIST、CIFAR-10、CIFAR-100 といった標準的なビジョンベンチマークにスケーラブルに適用可能であり、強力な堅牢性保証を維持できるか？

主な発見

• PixelDP ネットワークは、MNIST、CIFAR-10、CIFAR-100 において、最も性能の優れた防御手法と同等の攻撃下での精度を達成する。
• 予測の 40–60% において、意味的な大きさの 1-ノルムおよび 2-ノルム摂動に対して、形式的な堅牢性認証が提供される。
• この手法は微分プライバシーに基づく理論的保証を有しており、ヒューリスティックな防御を破壊する適応的攻撃に対しても耐性がある。
• 堅牢性証明は個々の予測ごとに計算され、必要に応じて堅牢な推論を部分的に適用可能である。
• このアプローチにより、DP が堅牢な機械学習のメカニズム豊富でスケーラブルかつ一般化可能な基盤として機能できることを示している。
• 結果から、DP と adversarial 堅牢性の間の意味的整合性が、性能を犠牲にすることなく形式的かつ認証可能な防御を可能にすることが確認された。