[論文レビュー] Data Augmentation MCMC for Bayesian Inference from Privatized Data

Nianqiao Ju, Jordan Awan+2 more|arXiv (Cornell University)|Jun 1, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、機密データの非公開の部分を同時にサンプリングすることで、微分プライバシー化されたデータからの正確なベイズ推論を実現する、新しいデータ拡張MCMCフレームワークを提案する。プライバシー機構の構造を活用することで、高次元の機密データベースに対する統合が困難な場合でも、近似を用いずに効率的な正確な事後分布サンプリングが可能になる。

ABSTRACT

Differentially private mechanisms protect privacy by introducing additional randomness into the data. Restricting access to only the privatized data makes it challenging to perform valid statistical inference on parameters underlying the confidential data. Specifically, the likelihood function of the privatized data requires integrating over the large space of confidential databases and is typically intractable. For Bayesian analysis, this results in a posterior distribution that is doubly intractable, rendering traditional MCMC techniques inapplicable. We propose an MCMC framework to perform Bayesian inference from the privatized data, which is applicable to a wide range of statistical models and privacy mechanisms. Our MCMC algorithm augments the model parameters with the unobserved confidential data, and alternately updates each one conditional on the other. For the potentially challenging step of updating the confidential data, we propose a generic approach that exploits the privacy guarantee of the mechanism to ensure efficiency. We give results on the computational complexity, acceptance rate, and mixing properties of our MCMC. We illustrate the efficacy and applicability of our methods on a naïve-Bayes log-linear model as well as on a linear regression model.

研究の動機と目的

• 機密データベースに対する高次元統合による周辺尤度の非可解性のため、利用可能なのは微分プライバシー化されたデータに限られる状況において、有効なベイズ推論を実現すること。
• 二重に非可解な状況下でも、近似を用いずに正確な事後分布 $ p(\theta \mid s_{\text{dp}}) $ を標本抽出する一般化されたMCMCアルゴリズムの開発。
• 非プライベートデータ用に既存のMCMCサンプラーを、プライベートデータ用のラッパーとして再利用可能にすることで、統計的妥当性と不確実性の定量化を維持すること。
• 有界なパrameter空間およびサンプル空間の仮定の下で、サンプラーの計算的効率性と幾何的エルゴドニシティを確立すること。
• 線形回帰や対数線形モデルなどの実世界のモデルにおいて、微分プライバシー下での本手法の有効性を実証すること。

提案手法

• 本手法は、微分プライバシー化された出力 $ s_{\text{dp}} $ を条件として、モデルパラメータ $ \theta $ と非観測機密データ $ x $ を交互に更新するメトロポリス・イン・ギブスMCMCサンプラーを採用する。
• $ x \mid \theta, s_{\text{dp}} $ の更新には、プライバシー機構の構造を活用した汎用的提案分布を設計し、高い受容率と良好な混合性能を実現する。
• 既知のプライバシー保証（例：$ \epsilon $-DP）を活用して、$ x $ の各成分間の相関を制御し、混合効率を向上させる。
• すべての可能な機密データベースに対する周辺化が非可解であるのを避けるために、連合事後分布 $ p(\theta, x \mid s_{\text{dp}}) $ を直接標本抽出対象とする。
• フレームワークはモジュラーである：$ p(\theta \mid x) $ 用に既存のMCMCサンプラーをラッピングすることで、再設計を必要とせず、既存の推論ツールを再利用可能となる。
• 理論的結果として、$ \Theta $ および $ \mathbb{X} $ に対する有界性仮定の下で、ギブスサンプラーの幾何的エルゴドニシティが確立され、収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 高次元の機密データベースに対する統合が困難である場合、微分プライバシー化されたデータから正確なベイズ推論が可能か？
• RQ2 プライバシー機構の構造を活用することで、非観測機密データに対する効率的なMCMC提案分布をどのように設計できるか？
• RQ3 非プライベートデータ用に開発された既存のMCMCサンプラーを、正確性や効率性の損失なしにプライベートデータ用のラッパーとして再利用可能か？
• RQ4 有界なパラメータ空間およびサンプル空間の下で、提案されたデータ拡張MCMCフレームワークの計算的性質および混合性はいかがなものか？
• RQ5 線形回帰や対数線形モデルなどの実際の統計モデルにおいて、微分プライバシー下で本手法は実用的にどの程度の性能を示すか？

主な発見

• 提案されたMCMCフレームワークは、近似や漸近的仮定に依存せず、$ \theta \mid s_{\text{dp}} $ の正確な事後分布サンプリングを達成する。
• 有界性仮定の下で高い受容率と幾何的エルゴドニシティを確保し、信頼性のある収束を実現する。
• 線形回帰モデルにおける $ \beta $ の事後平均は、さまざまなプライバシー水準 $ \epsilon $ において、真の機密事後平均をよく追跡しており、100個の独立したプライベート出力においても安定したトレンドが観察された。
• 本アルゴリズムは、同時に非公開の機密データ $ x \mid s_{\text{dp}} $ の複数の事後予測サンプルを生成でき、元のデータに対する後続の推論に有用である。
• 本フレームワークは計算的に効率的かつスケーラブルであり、線形回帰の例では、$ \theta $ が共役事前分布で更新される場合、$ n $ に対して実行時間が線形に比例する。
• 本手法は予測変数および応答変数のクリッピングに対してもロバストであり、有界なサポート下でも一貫した推論トレンドを維持する。