[論文レビュー] On the Differential Privacy of Bayesian Inference

Zuhe Zhang, Benjamin I. P. Rubinstein+1 more|arXiv (Cornell University)|Dec 22, 2015

Privacy-Preserving Technologies in Data参考文献 19被引用数 11

ひとこと要約

本稿では、確率的グラフィカルモデルにおけるベイズ推論のための4つの新しい微分プライバシー機構を提案する。ノイズ摂動による事後パラメータおよびそのフーリエ変換、事後分布からのサンプリング、および最大事後確信度機構を含む。グラフィカルモデルの構造とプライバシーの間の最初の理論的リンクを確立し、条件付き独立構造が微分プライバシーの保証に影響することを示し、離散的ベイズネットワークおよび線形回帰モデルに対して、プライバシーとユーティリティの境界を導出する。

ABSTRACT

We study how to communicate findings of Bayesian inference to third parties, while preserving the strong guarantee of differential privacy. Our main contributions are four different algorithms for private Bayesian inference on proba-bilistic graphical models. These include two mechanisms for adding noise to the Bayesian updates, either directly to the posterior parameters, or to their Fourier transform so as to preserve update consistency. We also utilise a recently introduced posterior sampling mechanism, for which we prove bounds for the specific but general case of discrete Bayesian networks; and we introduce a maximum-a-posteriori private mechanism. Our analysis includes utility and privacy bounds, with a novel focus on the influence of graph structure on privacy. Worked examples and experiments with Bayesian na{\\"i}ve Bayes and Bayesian linear regression illustrate the application of our mechanisms.

研究の動機と目的

• 個人データを露呈させることなく、第三者に対してベイズ推論の結果をプライベートに通信することを可能にすること。
• 確率的グラフィカルモデル（PGMs）において、微分プライバシーを保持しつつも、ユーティリティを維持するメカニズムの開発。
• グラフィカルモデル構造（例：条件付き独立性）と微分プライバシーの保証との間の最初の形式的接続を確立すること。
• ネットワークのグラフ構造およびパラメータの感度に依存するプライバシーとユーティリティの理論的境界を提供すること。
• 後方分布からのサンプリングおよび加法的ノイズメカニズムを、微分プライバシー下でのベイズ推論に拡張すること。

提案手法

• 事後パラメータに直接ラプラスノイズを追加するメカニズムと、そのフーリエ係数にノイズを追加して更新の一貫性を保つメカニズムの2つの事後パラメータ摂動機構を提案。
• Dimitrakakisら（2014）の事後分布からのサンプリングメカニズムを適応し、確率的Lipschitz条件の下で離散的ベイズネットワークにおける微分プライバシー境界を証明。
• プライバシー制約下で最も確信度の高いパラメータ構成を選択するための指数メカニズムを用いた最大事後確信度プライベートメカニズムを導入。
• 対数尤度関数の感度解析を通じてプライバシー境界を導出し、特に有界パラメータをもつ線形回帰に対して有効。
• 丸められた正規事前分布を用いて有界性と共役性を確保し、プライバシー制約下でも閉形式の事後分布計算を可能にする。
• Barakら（2007）のアイデアに従い、フーリエドメインへのノイズ追加を適用し、摂動中における周辺分布の一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 確率的グラフィカルモデルにおけるベイズ推論を、ユーティリティを保持しつつ微分プライバシー化する方法は何か？
• RQ2 条件付き独立構造（グラフトポロジー）は、ベイズネットワークにおける微分プライバシー保証にどのように影響するか？
• RQ3 一般のベイズネットワーク構造において、事後分布からのサンプリングメカニズムを微分プライバシーであると証明できるか？
• RQ4 対数尤度関数の感度境界は、プライベートベイズ推論におけるノイズスケールの選定にどのように影響するか？
• RQ5 グラフ構造をどれほど活用すれば、ベイズモデルにおける微分プライバシーのためのノイズ量を低減できるか？

主な発見

• 本稿では、離散的ベイズネットワークにおけるプライバシー予算εがε = 2 log(1/ω)で有界であることを確立し、ω（最小部分事象確率）を用いた直接的なプライバシーのキャリブレーションが可能であることを示した。
• 有界パラメータをもつベイズ線形回帰において、対数尤度の感度はL(w) = (n / (2σ²)) (1 + 2||w||₁ + d||w||₂)で有界であり、これが微分プライバシーのためのノイズスケールを決定する。
• 事後分布からのサンプリングメカニズムは2L(w)-微分プライバシーを達成し、一般のベイズネットワークに適用可能である。
• フーリエドメインでのノイズ注入は、条件付き分布間での事後更新の一貫性を保ち、意図しない攻撃者に対するステルス性を向上させる。
• 理論的境界により、グラフ構造（特に条件付き独立性）が事後の感度の有効な低減をもたらし、プライバシーとユーティリティのトレードオフの改善に寄与することが示された。
• ベイズナイーブベイズおよび線形回帰における実験により、提案手法が微分プライバシーを満たしつつもユーティリティを維持していることが確認され、プライバシーはωまたはパラメータの有界性によりキャリブレーション可能である。