[論文レビュー] Adversary Instantiation: Lower Bounds for Differentially Private Machine Learning

Milad Nasr, Shuang Song+3 more|arXiv (Cornell University)|Jan 11, 2021

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、微分プライバシー（DP）機械学習における仮説的敵対者を実装することで、プライバシー漏洩の下界を厳密に確立する手法を提案する。ブラックボックスのモデルクエリから完全な勾配汚染まで、さまざまな能力を持つ敵対者をシミュレートすることで、敵対者が最大限のアクセスを持つ場合、DP-SGDの理論的上界がタイトであるが、現実的な制約を適用すると実用的なプライバシーははるかに強固であることが示された。

ABSTRACT

Differentially private (DP) machine learning allows us to train models on private data while limiting data leakage. DP formalizes this data leakage through a cryptographic game, where an adversary must predict if a model was trained on a dataset D, or a dataset D' that differs in just one example.If observing the training algorithm does not meaningfully increase the adversary's odds of successfully guessing which dataset the model was trained on, then the algorithm is said to be differentially private. Hence, the purpose of privacy analysis is to upper bound the probability that any adversary could successfully guess which dataset the model was trained on.In our paper, we instantiate this hypothetical adversary in order to establish lower bounds on the probability that this distinguishing game can be won. We use this adversary to evaluate the importance of the adversary capabilities allowed in the privacy analysis of DP training algorithms.For DP-SGD, the most common method for training neural networks with differential privacy, our lower bounds are tight and match the theoretical upper bound. This implies that in order to prove better upper bounds, it will be necessary to make use of additional assumptions. Fortunately, we find that our attacks are significantly weaker when additional (realistic)restrictions are put in place on the adversary's capabilities.Thus, in the practical setting common to many real-world deployments, there is a gap between our lower bounds and the upper bounds provided by the analysis: differential privacy is conservative and adversaries may not be able to leak as much information as suggested by the theoretical bound.

研究の動機と目的

• 理論的微分プライバシー（DP）上界と実際のプライバシー漏洩の間のギャップを調査すること。
• 敵対者の能力がDP機械学習におけるプライバシー攻撃の有効性に与える影響を評価すること。
• 現在のDP-SGD分析がタイトであるか、追加の仮定によって改善可能かどうかを特定すること。
• 敵対者の実用的制限が理論的上界と実効的下界の間の有意義なギャップを生じるかどうかを評価すること。
• どの仮定が最も有益なプライバシー保証をもたらすかを特定することで、今後の理論的および応用的研究を導くこと。

提案手法

• ブラックボックス（モデルの予測のみを観測）からホワイトボックス（中間の勾配とトレーニング更新へのアクセス）までの敵対者のスケールを実装する。
• 1つの例を除いて同一の2つのデータセット D と D′ を構築し、DP区別ゲームをシミュレートする。
• 2つの攻撃アルゴリズムを設計する：1つは敵対的データセットを生成し、もう1つは訓練済みモデルがどのデータセットで学習されたかを予測するものである。
• さまざまな脅威モデル下での実効的プライバシー損失（ε）を測定し、DP分析からの理論的上界と比較する。
• DP-SGDを主な事例として採用し、厳密なプライバシー会計のためのモーメント会計法を適用する。
• MNIST や CIFAR-10 などの標準データセット上で攻撃を評価し、脅威モデルの一般化可能性と現実性を評価する。

Figure 2 : Our attack process. Our first algorithm, the crafter constructs two datasets $D$ and $D^{\prime}$ differing in one example. The model trainer then (independently of the adversary) trains a model on one of these two datasets. Our second algorithm, the distinguisher then guesses which datas

実験結果

リサーチクエスチョン

• RQ1 敵対者がトレーニング中間状態への完全なアクセスを持つ場合、DP-SGDにおけるプライバシー漏洩の理論的上界はどの程度タイトか？
• RQ2 敵対者が最終モデル出力のみを観測できる現実的な制限がある場合、実際のプライバシー漏洩はどの程度か？
• RQ3 敵対者の能力を制限することで、理論的上界と実効的下界のギャップを顕著に縮小できるか？
• RQ4 敵対者のアクセスに関する仮定（例：勾配汚染対比モデルクエリ）がプライバシー漏洩に最も強く影響するのはどれか？
• RQ5 実用的脅威モデルにおいて、実際のプライバシー提供が理論的上界を上回る場合があり、現在のDP分析が過剰に慎重である可能性はないか？

主な発見

• 敵対者がトレーニング勾配と中間モデル更新への完全なアクセスを持つ場合、DP-SGDのプライバシー損失（ε）の理論的上界はタイトである。
• 敵対者が最終モデル予測（ブラックボックスアクセス）のみを観測する制限を受けている場合、実際のプライバシー漏洩は理論的上界よりも顕著に低い。
• 現実的な設定では理論的上界と実効的下界のギャップが顕著であるため、DP-SGDは実用的には過剰に慎重であると示唆される。
• トレーニング勾配を変更する攻撃は、CIFAR-10 などの実データセット上で動作する攻撃と比べてわずかに効果的であるにとどまり、病理的データ構築が顕著な利点をもたらさないことを示している。
• 敵対者を訓練例の変更（勾配の変更ではなく）に限定することは、アルゴリズムを変更せずにプライバシー保証を向上させる有望な方向性である。
• DP-SGD における現在のモーメント会計法分析はタイトであるため、理論的上界のさらなる改善には、アルゴリズムの変更または敵対者の能力に関するより強い仮定が必要である。