[論文レビュー] Private Posterior distributions from Variational approximations

Vishesh Karwa, Daniel Kifer+1 more|arXiv (Cornell University)|Nov 24, 2015

Privacy-Preserving Technologies in Data参考文献 20被引用数 9

ひとこと要約

この論文は、プライバシー保護のための微分的プライバシー機構を尤度関数に直接組み込むことで、プライベートなデータに対する有効なベイズ推論を可能にする変分推論フレームワークを提案する。元のデータを欠損データとして扱い、MMアルゴリズムを用いた新しい下界を用いることで、ナイーブベイズの対数線形モデルに対して正確な事後分布近似が得られ、シミュレーションではプライバシーのノイズを無視するナイーブな手法を著しく上回る性能を示す。

ABSTRACT

Privacy preserving mechanisms such as differential privacy inject additional randomness in the form of noise in the data, beyond the sampling mechanism. Ignoring this additional noise can lead to inaccurate and invalid inferences. In this paper, we incorporate the privacy mechanism explicitly into the likelihood function by treating the original data as missing, with an end goal of estimating posterior distributions over model parameters. This leads to a principled way of performing valid statistical inference using private data, however, the corresponding likelihoods are intractable. In this paper, we derive fast and accurate variational approximations to tackle such intractable likelihoods that arise due to privacy. We focus on estimating posterior distributions of parameters of the naive Bayes log-linear model, where the sufficient statistics of this model are shared using a differentially private interface. Using a simulation study, we show that the posterior approximations outperform the naive method of ignoring the noise addition mechanism.

研究の動機と目的

• 微分的プライバシーを適用したデータに対して標準的な統計的手法を適用すると生じる無効で不正確な推論を是正すること。
• 元のデータを欠損データとして扱い、プライバシー機構を尤度関数に明示的にモデル化する、整合的なベイズフレームワークの構築。
• プライバシー保護機構に起因する事後分布の尤度が計算不能となる場合に、高速かつ正確な変分近似を導出すること。
• プライバシーのノイズを推論プロセスに組み込むことで、妥当な事後分布推定と適切な標準誤差の算出を保証すること。
• シミュレーションを通じて、本手法がプライバシー機構を無視するナイーブな推論手法を上回ることを示すこと。

提案手法

• 元のデータセットを欠損データとして扱い、プライバシー機構を条件付き分布 P(Z|D, γ) としてモデル化し、尤度関数に統合する。
• 変分推論を用いて計算不能な尤度関数の下界を導出し、共役でない・微分不能な項を含む最適化を可能にする。
• 単体制約（simplex constraints）を満たしながら、下界を最大化するためのMM（マジョライゼーション・ミニマイゼーション）アルゴリズムを用いる。
• 制約付き最適化問題を解くために一次内点法を適用し、収束性を保証するとともに、他の手法で一般的な境界付近の問題を回避する。
• 十分統計量の変分近似に逆ガウス分布、パラメータの事前分布の変分近似にディリクレ分布をそれぞれ用いる。
• 変分更新の過程で、ディリクレ分布における対数確率の期待値を計算するためにディグマ関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 尤度関数にプライバシー機構を明示的にモデル化することで、微分的プライバシーを適用したデータに対するベイズ推論を有効かつ正確に行えるか？
• RQ2 非共役で微分不能なプライバシーのノイズが生じるクロス集計表において、変分推論をどのように修正すれば、計算不能な尤度関数に対処できるか？
• RQ3 単体制約下で事後分布を推定する際、収束性と数値的安定性を保証する最適化戦略は何か？
• RQ4 プライバシー機構を組み込むことで、それを無視するナイーブな手法に比べて、パラメータ推定の効率が向上するか？
• RQ5 提案手法は、高次元設定において意味のある標準誤差と一貫性のある推定値を提供できるか？

主な発見

• シミュレーション研究により、本手法がプライバシー機構を無視するナイーブな推論に比べ、より正確な事後分布近似を生成することが示された。
• プライバシー機構を尤度関数に明示的にモデル化することで、パラメータ推定の存在と妥当な統計的推論が保証された。
• 適切な探索方向とArmijo則を用いた内点法により、下界が単調に増加し、収束が保証された。
• 本手法は、標準的な平均場変分推論では処理できない非共役・非微分可能な項を効果的に扱うことができた。
• 事後分布の変分近似により、推定効率が向上し、ナイーブな手法に比べてカバレッジが向上し、分散が低減された。
• 本手法は、ノイズがかかる度数がいかなる実際のクロス集計表とも整合しない場合でさえ、意味のある標準誤差と漸近的に一貫性のある推定値を提供した。