[論文レビュー] Scalable Differential Privacy with Certified Robustness in Adversarial Learning

Hai Thanh Phan, My T. Thai+4 more|arXiv (Cornell University)|Mar 23, 2019

Adversarial Robustness in Machine Learning被引用数 23

ひとこと要約

本稿では、プライバシー、認証可能ロバストネス、および高いモデル効用を同時に確保するスケーラブルな微分プライバシー保護型対抗的学習フレームワーク、StoBatchを提案する。入力空間および潜在空間にノイズを注入し、微分プライバシーにおける逐次的合成を活用することで、よりタイトなロバストネス境界を達成し、大規模なDNNにおける効率的な確率的バッチ学習を可能にした。MNIST、CIFAR-10、Tiny ImageNetにおいて、強力な対抗的攻撃下でも、先行手法を上回る精度とスケーラビリティを実現した。

ABSTRACT

In this paper, we aim to develop a scalable algorithm to preserve differential privacy (DP) in adversarial learning for deep neural networks (DNNs), with certified robustness to adversarial examples. By leveraging the sequential composition theory in DP, we randomize both input and latent spaces to strengthen our certified robustness bounds. To address the trade-off among model utility, privacy loss, and robustness, we design an original adversarial objective function, based on the post-processing property in DP, to tighten the sensitivity of our model. A new stochastic batch training is proposed to apply our mechanism on large DNNs and datasets, by bypassing the vanilla iterative batch-by-batch training in DP DNNs. An end-to-end theoretical analysis and evaluations show that our mechanism notably improves the robustness and scalability of DP DNNs.

研究の動機と目的

• 微分プライバシーによるプライバシー保護と、対抗的例に対するロバストネスを同時に実現する深層ニューラルネットワークの構築という未解決の課題に取り組む。
• 既存のDPメカニズムが、対抗的学習中に訓練データを保護できないという限界を克服し、特にプライベートなデータから導出された対抗的例が存在する状況でも有効であるようにする。
• グローバル感度をタイトにすることで、モデル効用、プライバシー損失、ロバストネスのトレードオフを新たな対抗的目的関数により効果的に管理する。
• 繰り返しバッチ単位の学習に依存しないことで、大規模なデータセットにおけるプライベートかつロバストなモデルのスケーラブルな学習を可能にし、分散型で効率的な学習を支援する。
• 入力空間および潜在空間におけるノイズメカニズムのロバストネスを合成することで、微分プライバシーと認証可能ロバストネスの理論的関係を確立する。

提案手法

• 微分プライバシーを保証するノイズを入力層および隠れ（潜在）層に注入し、DPにおける逐次的合成を活用することで、モデルパラメータの学習におけるプライバシーを確保する。
• 後処理不変性に基づく新しいDP-対抗的目的関数を導入し、グローバル感度をタイトにすることで、先行研究と比較してノイズ注入量を削減する。
• 不連続で固定されたデータバッチをローカルトレーナーに割り当て、同期的な勾配集約とバッチ間での効率的な対抗的例生成を可能にする確率的バッチ学習メカニズムを採用する。
• 逐次的合成理論を用いて一般化されたロバストネス境界を導出し、入力空間と潜在空間へのノイズ注入によるロバストネスを組み合わせ、単一空間の境界を上回る性能を実現する。
• 勾配降下の各ステップでプライバシー予算が蓄積されないよう、エポック間で訓練データを固定してパーティショニングすることで、タイトなプライバシー会計を保証する。
• プライベートな正常データから作成されたDP-対抗的例を用いたアンサンブル対抗的学習を適用し、プライバシー制約下でも意思決定境界のロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーと認証可能ロバストネスを、モデル効用を損なわせることなく、対抗的深層学習で同時に達成できるか？
• RQ2 対抗的例がプライベートな訓練データから生成される場合、プライバシーとロバストネスをどのように同時に保てるか？
• RQ3 新たな対抗的目的関数により、プライバシー損失、ロバストネス、モデル精度のトレードオフを効果的に管理できるか？
• RQ4 繰り返しバッチ単位の学習に依存せず、大規模なDNNおよびデータセットにおける微分プライバシー保護型対抗的学習をスケーラブルに実現できるか？
• RQ5 微分プライバシーメカニズムと認証可能ロバストネスの間には、どのような理論的関係が存在するか？

主な発見

• StoBatchは、ε=1.0およびε=2.0の条件下で、I-FGSMやMIMなどの強力な反復的攻撃に対して、MNISTおよびCIFAR-10で最大90％の認証可能精度を達成した。
• CIFAR-10データセットにおいて、ε=2.0の条件下で1,000ステップの対抗的攻撃（例：Madry et al.）に対しても80％を超える通常の精度を維持しており、強力なロバストネスを示した。
• 本手法は大規模なモデルおよびデータセットに対しても効果的にスケーリングでき、ε=5.0の条件下でTiny ImageNetでも高い性能を発揮し、実世界の応用における実用性を示した。
• 提案された確率的バッチ学習により、従来のDP-DNN手法が抱える逐次的バッチ単位処理のボトルネックを回避し、効率的かつ分散型の学習が可能になった。
• 理論的分析により、固定されたデータパーティショニングのおかげで、訓練ステップ間でのプライバシー予算の蓄積が生じないことが確認され、タイトなプライバシー会計が可能となった。
• 逐次的合成を用いて導出した一般化されたロバストネス境界は、入力空間または潜在空間のノイズのみを考慮する先行の境界を上回り、より強い認証可能な保証を提供した。