[論文レビュー] Bayesian inference under differential privacy

Yonghui Xiao, Li Xiong|arXiv (Cornell University)|Mar 3, 2012

Privacy-Preserving Technologies in Data参考文献 23被引用数 6

ひとこと要約

本稿では、微分プライバシー下で系統的なベイズ推論手法を提案する。この手法は、ガウス＝マルコフの定理を用いて、差分プライバシーを満たすクエリの履歴から事後信念を更新するための最良線形不偏推定量（BLUE）を用いる。信用区間と信頼水準を組み込むことで、特に予算が限定されたシステムにおいて、プライバシー予算の消費を削減し、ユーティリティを向上させる。ベースライン手法に比べて信頼性と正確性に優れる。

ABSTRACT

Bayesian inference is an important technique throughout statistics. The essence of Beyesian inference is to derive the posterior belief updated from prior belief by the learned information, which is a set of differentially private answers under differential privacy. Although Bayesian inference can be used in a variety of applications, it becomes theoretically hard to solve when the number of differentially private answers is large. To facilitate Bayesian inference under differential privacy, this paper proposes a systematic mechanism. The key step of the mechanism is the implementation of Bayesian updating with the best linear unbiased estimator derived by Gauss-Markov theorem. In addition, we also apply the proposed inference mechanism into an online queryanswering system, the novelty of which is that the utility for users is guaranteed by Bayesian inference in the form of credible interval and confidence level. Theoretical and experimental analysis are shown to demonstrate the efficiency and effectiveness of both inference mechanism and online query-answering system.

研究の動機と目的

• 微分プライバシー系において確率的推論メカニズムが不足していること、特に不確実性の定量化を提供するベイズ手法が欠如していることに対処すること。
• 利用者が信用区間と信頼水準を指定することで、直接的なプライバシー予算の割り当てに依存するのを減らすこと。
• 新しい差分プライバシークエリを発行するのではなく、履歴のノイズ混じりの応答から推論することで、予算が限定された環境におけるシステムの有効期間を延ばすこと。
• 大規模な履歴クエリ数に応じてスケーリング可能な計算効率の良い推論メカニズムを構築し、次元の呪いを克服すること。
• 動的プライバシー予算割り当てを可能にするオンラインクエリ応答システムにベイズ推論を統合し、必要に応じてのみプライバシー予算を消費すること。

提案手法

• ガウス＝マルコフの定理を用いて、履歴の差分プライバシークエリ応答の集合から最良線形不偏推定量（BLUE）を導出する。
• ベイズ更新のための事後確率関数を推定するために、2つの近似手法（モンテカルロ法（MC）と確率計算法（PC））を適用する。
• 情報のない事前分布を用いて信念を初期化し、ノイズ混じりの履歴応答から導出された尤度を用いて更新する。
• ユーザーが指定するユーティリティ要件を満たす推定値が得られる場合、新しいクエリを発行しない動的予算割り当て戦略（定理5.3）を導入する。
• オンラインクエリ応答システムを設計し、ベイズ推論によって信用区間と信頼水準を提供することで、追加のプライバシー予算を消費せずにユーティリティを確保する。
• 高次元設定での推論を可能にするために、階層的パーティション木を履歴クエリのソースとして用いる。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシークエリ応答にベイズ推論を効果的に適用できるか。特に、信用区間と信頼水準としての不確実性の定量化が可能か。
• RQ2 履歴クエリ数が多くなる場合に、次元の呪いを避けるためにベイズ更新をどのように効率的に計算できるか。
• RQ3 推論による推定値に置き換えることで、予算が限定されたシステムにおけるプライバシー予算の消費をどの程度削減できるか。
• RQ4 OLSのような従来の点推定手法と比較して、提案手法は正確性とユーティリティの面でどのように優れているか。
• RQ5 ユーザーが指定するユーティリティ要件を満たすために、ベイズ推論を用いて必要に応じてのみプライバシー予算を動的に割り当てられるシステムは構築可能か。

主な発見

• 無制限設定では、本手法はベースラインより高い信頼性（R_i）と低い相対誤差（E）を達成し、推論に基づくクエリ回避によってプライバシー予算を節約する。
• 制限付き設定では、予算の上限を超えて推定値を推論することで、システムの高い容量（R_a）を維持し、改善されたベースラインシステムを上回る。
• PC推論手法は、ノイズ混じりの応答の確率的構造を活用できないOLSベースの解決策に比べ、より高い正確性（E）と信頼性（R_i）を達成する。
• 推定値がユーザーのユーティリティ要件を満たす場合、新しい差分プライバシークエリを実行する必要を延期または回避することで、プライバシー予算の消費を削減する。
• 初期段階ではクエリ履歴が不足しているため性能がわずかに低下するが、履歴データが蓄積され、より代表的になるにつれて改善する。
• 理論的および実験的結果から、提案されたベイズ推論メカニズムが、特にシステムの有効期間の延長とユーティリティの向上において、効率的かつ有効であることが確認された。