[論文レビュー] Exact Inference with Approximate Computation for Differentially Private Data via Perturbations

Ruobin Gong|arXiv (Cornell University)|Sep 26, 2019

Statistical Methods and Bayesian Inference被引用数 4

ひとこと要約

本稿では、近似計算手法（近似ベイズ計算（ABC）およびモンテカルロEM）を用いて、微分プライバシー化されたデータからの正確なベイズ推論および尤度推論を可能にするモジュラーなフレームワークを提案する。この手法は、チューニングパラメータをプライバシー摂動機構と一致させることで実現される。主な貢献は、モンテカルロ誤差を除けば、アナリストの統計モデルとキュレーターのプライバシー機構の結合モデルに関して、推論が正確であることである。

ABSTRACT

This paper discusses how two classes of approximate computation algorithms can be adapted, in a modular fashion, to achieve exact statistical inference from differentially private data products. Considered are approximate Bayesian computation for Bayesian inference, and Monte Carlo Expectation-Maximization for likelihood inference. Up to Monte Carlo error, inference from these algorithms is exact with respect to the joint specification of both the analyst's original data model, and the curator's differential privacy mechanism. Highlighted is a duality between approximate computation on exact data, and exact computation on approximate data, which can be leveraged by a well-designed computational procedure for statistical inference.

研究の動機と目的

• 解析的再導出を必要とせず、微分プライバシー化されたデータ製品からの正確な統計的推論を可能にすること。
• 特にプライバシー機構が複雑または未知である場合に、データが微分プライバシーのために摂動された状況での有効な推論を実現すること。
• 正確なデータに対する近似計算と、近似データに対する正確計算の間の双対性を確立し、プライバシー機構の透明性を活用すること。
• 計算的に実行可能で理論的に整合性のあるアプローチを提供し、微分プライバシー下でも統計的妥当性を維持すること。
• プライバシー機構にクラッピングやポストプロセッシングが含まれる場合でも、機構が透明である限り推論が有効であることを保証すること。

提案手法

• データ公開で用いられるプライバシー摂動機構と完全に一致するカーネルとバンド幅を用いて、近似ベイズ計算（ABC）を適応させる。
• ABCにおける再帰的サンプリングアルゴリズムでは、合成データがプライバシー化されたデータに近い場合にのみ受理され、カーネルがプライバシー機構のノイズ分布と関連づけられる。
• 重要度サンプリングをモンテカルロEM（MCEM）フレームワーク内に適用し、プライバシー機構の密度を提案分布として用いて、プライバシー化されたデータから最尤パラメータを推定する。
• 元のデータモデルと微分プライバシー機構の結合モデルに関して、事後分布または尤度の近似が正確になるように保証する。
• 本手法が機能するためには、プライバシー機構の条件付き密度 $\eta_{\text{dp}}(\boldsymbol{s}_{\text{dp}} \mid \cdot)$ が解析的に扱える必要がある。
• チューニングパラメータ（例：カーネル幅、重要度重み）を明示的にプライバシー機構と一致させることで、データ摂動にもかかわらず正確な推論を可能にするアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 ABC や MCEM などの近似計算手法を、微分プライバシー化されたデータからの正確な統計的推論に適応できるか？
• RQ2 プライバシー機構の摂動構造をどのように活用すれば、データモデルとプライバシー機構の結合モデルに関して推論が正確に保たれるか？
• RQ3 これらの近似計算手法を用いた正確な推論に必要なプライバシー機構の条件（例：透明性、ノイズの形）は何か？
• RQ4 正確なデータに対する近似計算と、近似データに対する正確計算の間の双対性は、プライバシーに配慮した推論手順の設計にどのように寄与するか？
• RQ5 プライバシー機構にクラッピングやポストプロセッシングが含まれる場合、これらの手法の計算的・統計的限界は何か？

主な発見

• カーネルとバンド幅をプライバシー摂動機構に一致させた本手法のABCアルゴリズムは、真の事後分布からの独立同一分布サンプルを生成する。
• 重要度サンプリングを用いたMCEMベースのアプローチは、プライバシー機構の密度が透明で解析的に利用可能であれば、結合モデルに関して正確な尤度推論を達成する。
• 本手法はモンテカルロ誤差を除き正確な推論を達成するため、得られる推論は元のデータモデルおよびキュレーターのプライバシー機構の両者に関して統計的に妥当である。
• 本手法はモジュラーであり、結合モデルを解析的に再導出する必要がないため、異なる微分プライバシー化データに対して既存のABCおよびMCEM実装の再利用が可能である。
• ABCの性能は事前分布とデータの不一致に敏感である。事前分布が広がっているか、観測データと矛盾している場合、受理率が低下し、事後密度の高い領域でのサンプリング作業が増加する。
• 本手法の実行可能性は、プライバシー機構の透明性に強く依存する。クラッピングやポストプロセッシングによって機構の密度が隠蔽されると、手法の妥当性が損なわれる。