[論文レビュー] Evaluating Differentially Private Machine Learning in Practice

Bargav Jayaraman, David Evans|arXiv (Cornell University)|Feb 24, 2019

Privacy-Preserving Technologies in Data参考文献 80被引用数 85

ひとこと要約

本研究は、勾配摂動MLにおける差分プライバシーのバリアント（AC、zCDP、RDP）を実証的に評価し、ロジスティック回帰とニューラルネットワークにおけるメンバーシップ推測攻撃と属性推測攻撃を通じて実際のプライバシー漏えいを測定する。

ABSTRACT

Differential privacy is a strong notion for privacy that can be used to prove formal guarantees, in terms of a privacy budget, $ε$, about how much information is leaked by a mechanism. However, implementations of privacy-preserving machine learning often select large values of $ε$ in order to get acceptable utility of the model, with little understanding of the impact of such choices on meaningful privacy. Moreover, in scenarios where iterative learning procedures are used, differential privacy variants that offer tighter analyses are used which appear to reduce the needed privacy budget but present poorly understood trade-offs between privacy and utility. In this paper, we quantify the impact of these choices on privacy in experiments with logistic regression and neural network models. Our main finding is that there is a huge gap between the upper bounds on privacy loss that can be guaranteed, even with advanced mechanisms, and the effective privacy loss that can be measured using current inference attacks. Current mechanisms for differentially private machine learning rarely offer acceptable utility-privacy trade-offs with guarantees for complex learning tasks: settings that provide limited accuracy loss provide meaningless privacy guarantees, and settings that provide strong privacy guarantees result in useless models. Code for the experiments can be found here: https://github.com/bargavj/EvaluatingDPML

研究の動機と目的

• DP MLにおける異なる ε 設定がプライバシーと有用性のトレードオフにどのように影響するかを評価する。
• 高度な組成、zCDP、RDP が実務上の累積プライバシー損失にどのように影響するかを比較する。
• メンバーシップ推測攻撃および属性推測攻撃による実際のプライバシー漏えいを定量化する。
• ロジスティック回帰とニューラルネットワークにおけるDP MLの実装を評価し、実際的なリスクを特定する。

提案手法

• 差分プライバシーの定義とバリアント（AC、zCDP、RDP）およびそれらの理論的組成特性を検討する。
• ML の DP メカニズムとして勾配摂動に焦点を当て、感度を制限するために勾配クリッピングを用いる。
• モーメント簿記法（moments accountant）／同等の解析を用いて、異なる DP の概念下で累積プライバシー損失を境界づける。
• DL（深層学習）とLR（ロジスティック回帰）モデルに対して、メンバーシップ推測攻撃および属性推測攻撃を用いて実証的にプライバシー漏洩を評価する。
• ERMベースの学習タスクおよび非凸の深層学習設定に DP メカニズムを適用して有用性への影響を研究する。

実験結果

リサーチクエスチョン

• RQ1 異なる ε 値と DP バリアント（AC、zCDP、RDP）が DP ML におけるプライバシーと有用性のトレードオフにどのように影響するか？
• RQ2 形式的な DP 保証と攻撃を通じて観測される実際のプライバシー漏洩との実務的なギャップはどれくらいか？
• RQ3 ロジスティック回帰とニューラルネットワークに適用したとき、漏洩の観点で DP バリアントはどのように性能を示すか？
• RQ4 より厳密な組成解析は実世界の ML タスクにおいて意味のあるプライバシー保護につながるか？

主な発見

• DP バリアントにより保証される上限と、既知の攻撃によって観測されるものとの間には大きなギャップがある。
• 許容可能な有用性レベルでは、使用する DP バリアントに関係なく形式的保証は事実上意味がない。
• メンバーシップ推測攻撃および属性推測攻撃による漏洩は、漏洩しやすい設定でも比較的低いままである。
• ε に対する感度は DP バリアントによって異なり、有用性と漏洩の間のトレードオフはタスクとモデルに依存する。
• クリッピングを伴う勾配摂動はディープラーニングにおける実用的な DP アプローチだが、組成は多数の繰り返しでプライバシー予算を増加させる。