[論文レビュー] Auditing Differentially Private Machine Learning: How Private is Private SGD?

Matthew Jagielski, Jonathan Ullman+1 more|arXiv (Cornell University)|Jun 13, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用数 73

ひとこと要約

本研究は、DP-SGD のプライバシーを新規データ Poisoning 攻撃を用いて実証的に監査し、ε の下限を導出する。これらの下限は従来の実用的手法よりも大幅に厳密で、理論的な最悪ケース境界に近い。

ABSTRACT

We investigate whether Differentially Private SGD offers better privacy in practice than what is guaranteed by its state-of-the-art analysis. We do so via novel data poisoning attacks, which we show correspond to realistic privacy attacks. While previous work (Ma et al., arXiv 2019) proposed this connection between differential privacy and data poisoning as a defense against data poisoning, our use as a tool for understanding the privacy of a specific mechanism is new. More generally, our work takes a quantitative, empirical approach to understanding the privacy afforded by specific implementations of differentially private algorithms that we believe has the potential to complement and influence analytical work on differential privacy.

研究の動機と目的

• モチベーション: 最悪ケースの DP 保証と DP-SGD の実務的プライバシーのギャップを埋めること。
• 目標: DP-SGD の ε の下限を得るためのデータ Poisoning に基づく監査を開発する。
• 狙い: 実務における DP-SGD のプライバシーの程度を評価し、差分プライバシーにおける経験的監査の有用性を探る。
• 範囲: 標準データセットとハイパーパラメータを用いた TensorFlow Privacy 実装で評価する。

提案手法

• 毒性汚染ベースの監査を定義し、A(D0) と A(D1) の分布を比較して ε_LB = ln(p0/p1)/k によって ε を境界化する。
• Clopper–Pearson に基づく信頼区間を開発し、ε_LB に対する確率的保証を提供する。
• 勾配クリッピングを生存させるために分散の最小化方向でノイズを抑える新しいクリッピング対応 poisoning 攻撃（ClipBKD）を設計する。
• 複数のデータセットに対して DP-SGD の攻撃を標準的な所属推定攻撃と比較する。
• DP-SGD の下で 2 つのデータセット（FMNIST、CIFAR10、Purchase-100）と 2 種類のモデル（ロジスティック回帰と 2 層ニューラルネットワーク）を使用する。
• TensorFlow Privacy の DP-SGD 実装上でアプローチを具体化し、経験的 ε_LB 値を報告する。

実験結果

リサーチクエスチョン

• RQ1 DP-SGD によって実現される現実的な ε 値は、理論的な最悪ケースの境界とどの程度近いのか？
• RQ2 データ Poisoning に基づく監査は、所属推定などの既存のプライバシー攻撃よりも厳密な下限 ε を提供できるのか？
• RQ3 DP-SGD におけるクリッピングはよりロバストな poisoning 攻撃を可能にし、最小分散の方向をどう活用できるのか？
• RQ4 データセット、モデルタイプ、DP-SGD のハイパーパラメータは、実際の ε_LB にどのような影響を与えるのか？
• RQ5 経験的監査は、理論的な DP 分析を補完する上でどんな洞察を提供できるのか？

主な発見

• ClipBKD およびクリッピング対応 poisoning 攻撃は、データセットとモデルを超えて所属推定攻撃よりも ε_LB の推定において大幅に優れている。
• ClipBKD は ε_LB を MI より 2.5 倍〜1500 倍高く算出し、理論的な ε_th 上限値（例: ε_th = 4）に近づく ε_LB（例: Purchase-100 で 2 層ネットの場合 ε_LB = 0.46）に達しうる。
• 標準的なバックドア攻撃は、データセット/モデル要因により CIFAR10 で正の ε_LB を生じにくい一方、ClipBKD は一貫して標準バックドアを上回る。
• 感度分析は、ε_th（ノイズ低減）を高くすると ε_LB が増加し、初期化のランダム性とクリッピングノルムに大きく影響されることを示し、固定初期化はしばし ε_LB を高くする傾向がある。
• FMNIST、CIFAR10、P100 のいずれにおいても、ClipBKD によって測定される DP-SGD のプライバシーは最悪ケースの理論境界よりも大幅に下であり、現実のプライバシーは形式的保証が示唆するほど強くない可能性があるが、依然として些細とは程遠い。
• 訓練精度は実験を通じて高いまま（96–98%）であり、ユーティリティを損なうことなくプライバシー漏れを定量化できる。