[論文レビュー] Differential Privacy in a Bayesian setting through posterior sampling

Christos Dimitrakakis, Blaine Nelson+4 more|arXiv (Cornell University)|Jun 5, 2013

Privacy-Preserving Technologies in Data参考文献 26被引用数 4

ひとこと要約

本稿では、任意のデータセット距離、出力空間、分布族に一般化することで、一様なプライバシーと有効性の保証を達成するベイズ推論における事後サンプリング手法を提案する。強い敵対的モデル下で有限標本のプライバシー境界を証明し、単純な事後サンプリングがベイズフレームワークを変更せずに、強力な微分プライバシー推論を内蔵的に提供することを示している。

ABSTRACT

We examine the robustness and privacy properties of Bayesian inference, under assumptions on the prior. With no modifications to the Bayesian framework, we show that a simple posterior sampling algorithm results in uniform utility and privacy guarantees. In more detail, we generalise the concept of differential privacy to arbitrary dataset distances, outcome spaces and distribution families. We then prove bounds on the robustness of the posterior, introduce a posterior sampling mechanism, show that it is differentially private and provide finite sample bounds for distinguishability-based privacy under a strong adversarial model. Finally, we give examples satisfying our assumptions.

研究の動機と目的

• 事前仮定の下でのベイズ推論のプライバシーおよび耐性特性を調査すること。
• 標準的な度合いを超えて、任意のデータセット距離および分布族に微分プライバシーを一般化すること。
• 事後サンプリングがベイズフレームワークを変更せずに、内蔵的に微分プライバシーを提供することを示すこと。
• 強い敵対的モデル下で、識別可能性に基づくプライバシーの有限標本境界を確立すること。
• 提案された仮定を満たす具体的な例を提示し、フレームワークの適用可能性を示すこと。

提案手法

• 分布族に基づく柔軟なフレームワークを用いて、任意のデータセット距離および出力空間に微分プライバシーを一般化すること。
• 事前分布に対する弱い仮定の下で、データセットの摂動に対する事後分布の耐性境界を証明すること。
• 事後分布からのプライベート推定値を直接出力する事後サンプリングメカニズムを導入すること。
• 事後尤度比に基づくデータセットの識別可能性に関する有限標本境界を導出すること。
• 強い敵対的モデルを用いて、攻撃者が2つのデータセットを出力に基づいて識別できる確率を制限すること。
• 理論的境界と仮定の妥当性を検証するため、特定の例にフレームワークを適用すること。

実験結果

リサーチクエスチョン

• RQ1 ベイズ的文脈において、微分プライバシーを標準的な度合いを超えて、任意のデータセット距離および出力空間に意味的に一般化できるか？
• RQ2 弱い事前仮定の下で、ベイズ推論における事後サンプリングが内蔵的に微分プライバシーを提供するか？
• RQ3 強い敵対的モデル下で、識別可能性に基づくプライバシーの有限標本境界をどの程度確立できるか？
• RQ4 事後分布の耐性と、サンプリングメカニズムのプライバシー保証との関係は何か？
• RQ5 どのような統計的モデルのクラスが、提案されたプライバシーおよび有効性保証に必要な仮定を満たすか？

主な発見

• 弱い事前仮定の下で、事後サンプリングはすべてのデータセットに対して一様なプライバシーと有効性の保証を提供する。
• 本稿では、微分プライバシーを任意のデータセット距離および出力空間に一般化し、標準的でない設定への適用可能性を拡張している。
• 識別可能性に関する有限標本境界が導出され、攻撃者が2つのデータセットを識別できる確率が、事後尤度比の関数によって有界であることが示された。
• 本稿で提案するメカニズムは、ベイズ推論プロセスを変更せずに微分プライバシーを達成しており、事後サンプリングに依存するのみである。
• 必要な仮定を満たす例を通じて理論的境界が検証され、実用的妥当性が示された。
• 事後分布の耐性が、プライバシー保証と正式に結びつけられ、データの小さな変更が事後出力分布に与える影響が有界であることが示された。