[論文レビュー] Privacy for Free: Posterior Sampling and Stochastic Gradient Monte Carlo

Yu-Xiang Wang, Stephen E. Fienberg+1 more|arXiv (Cornell University)|Feb 26, 2015

Privacy-Preserving Technologies in Data参考文献 43被引用数 96

ひとこと要約

本稿では、標準的な正則性条件の下で、ベイズ推論における事後サンプリングが、明示的なプライバシー機構を用いずに、本質的に微分プライバシーを提供することを示している。また、Stochastic Gradient Langevin Dynamics などの確率的勾配MCMC手法が、最小限のアルゴリズム的変更で $(\epsilon,\delta)$-微分プライバシーを維持することも示している。主な貢献は、ベイズ推論と微分プライバシーの間の原理的かつ一貫した関係を確立したことであり、プライバシーを保ちつつ、効率的かつ計算的に実行可能な学習を可能にしている。

ABSTRACT

We consider the problem of Bayesian learning on sensitive datasets and present two simple but somewhat surprising results that connect Bayesian learning to "differential privacy:, a cryptographic approach to protect individual-level privacy while permiting database-level utility. Specifically, we show that that under standard assumptions, getting one single sample from a posterior distribution is differentially private "for free". We will see that estimator is statistically consistent, near optimal and computationally tractable whenever the Bayesian model of interest is consistent, optimal and tractable. Similarly but separately, we show that a recent line of works that use stochastic gradient for Hybrid Monte Carlo (HMC) sampling also preserve differentially privacy with minor or no modifications of the algorithmic procedure at all, these observations lead to an "anytime" algorithm for Bayesian learning under privacy constraint. We demonstrate that it performs much better than the state-of-the-art differential private methods on synthetic and real datasets.

研究の動機と目的

• ベイズ事後サンプリングと微分プライバシーの間の理論的リンクを確立すること。
• 標準的な仮定の下で、事後分布からの単一のサンプルが本質的に $\epsilon$-微分プライバシーであることを示すこと。
• Stochastic Gradient Langevin Dynamics などの確率的勾配MCMC手法が、最小限の変更で微分プライバシーを維持することを実証すること。
• 微分プライバシーを保ちつつ、任意の時点で実行可能な効率的なアルゴリズムを構築すること。
• 提案手法が、最先端の微分プライバシー付きの経験的リスク最小化技術と比較して、実験的に有効であることを検証すること。

提案手法

• 事後分布の対数尤度が有界である場合、その単一のサンプルが $\epsilon$-微分プライバシーであることを証明する。
• ガウスノイズ機構と高度な合成定理を適用し、確率的勾配MCMCアルゴリズムのプライバシーを確立する。
• プライベートな勾配と分散推定を備えた、Stochastic Gradient Fisher Scoring (DP-SGFS) の微分プライバシー版を導入する。
• 勾配の方向的感度を考慮するため、非球形ガウス機構を用いる。
• サブサンプリングと合成によるプライバシーの拡散を用いて、全体のプライバシー損失を制限する。
• 滑らかさと勾配の有界性の仮定の下でプライバシー保証を導出し、特にサンプル分散共分散行列の感度の上限を示す。

実験結果

リサーチクエスチョン

• RQ1 ベイズ推論における事後サンプリングは、明示的なプライバシー機構なしに微分プライバシーを提供できるか？
• RQ2 どのような条件下で、単一の事後サンプルが $\epsilon$-微分プライバシーであるか？
• RQ3 Stochastic Gradient Langevin Dynamics などの確率的勾配MCMC手法は、最小限の変更で微分プライバシーを継承できるか？
• RQ4 フィッシャー情報のプライベート推定は、プライバシーと漸近的効率性を維持しながら達成可能か？
• RQ5 プライベートな事後サンプリングの性能は、最先端の微分プライバシー付き経験的リスク最小化手法と比較してどうか？

主な発見

• 対数尤度が有界なベイズモデルの事後分布からの単一のサンプルは、標準的な正則性条件の下で $\epsilon$-微分プライバシーである。
• モデルが一貫的かつ漸近的に正規分布に従う場合、事後サンプルは統計的に一貫的で、近似的に最適である。
• ステップサイズが小さい場合、Stochastic Gradient Langevin Dynamics (SGLD) や関連手法は、アルゴリズムの変更なしに $(\epsilon,\delta)$-微分プライバシーを満たす。
• 提案された DP-SGFS アルゴリズムは、勾配の有界性と滑らかさの仮定の下で $(2\epsilon, 2\delta)$-微分プライバシーを達成する。
• 実験的結果から、本手法は合成および実データセットの両方で、最先端の微分プライバシー付きERMソルバーを上回ることを示している。
• フィッシャー情報の推定を確率的勾配を用いて行う場合でも、プライバシー保証は維持され、サンプル共分散行列の感度は $\frac{7L^2}{n-1}$ で有界である。