[論文レビュー] On the Benefits of Sampling in Privacy Preserving Statistical Analysis on Distributed Databases

Bing-Rong Lin, Ye Wang+1 more|arXiv (Cornell University)|Apr 16, 2013

Privacy-Preserving Technologies in Data参考文献 13被引用数 4

ひとこと要約

本稿は、ランダムサンプリング、Post Randomization (PRAM)、暗号化を用いて、垂直に分割された分散データベースにおけるプライバシー保護型統計解析フレームワークを提案する。微分プライバシーとデータ機密性を保証する。サンプリングとPRAMを組み合わせることでプライバシーが向上し（PRAMに必要なノイズを低減）、特定のプライバシー予算 𝜖 を満たしつつ推定誤差を最小化する最適なサンプリングサイズを導出する。

ABSTRACT

We consider a problem where mutually untrusting curators possess portions of a vertically partitioned database containing information about a set of individuals. The goal is to enable an authorized party to obtain aggregate (statistical) information from the database while protecting the privacy of the individuals, which we formalize using Differential Privacy. This process can be facilitated by an untrusted server that provides storage and processing services but should not learn anything about the database. This work describes a data release mechanism that employs Post Randomization (PRAM), encryption and random sampling to maintain privacy, while allowing the authorized party to conduct an accurate statistical analysis of the data. Encryption ensures that the storage server obtains no information about the database, while PRAM and sampling ensures individual privacy is maintained against the authorized party. We characterize how much the composition of random sampling with PRAM increases the differential privacy of system compared to using PRAM alone. We also analyze the statistical utility of our system, by bounding the estimation error - the expected l2-norm error between the true empirical distribution and the estimated distribution - as a function of the number of samples, PRAM noise, and other system parameters. Our analysis shows a tradeoff between increasing PRAM noise versus decreasing the number of samples to maintain a desired level of privacy, and we determine the optimal number of samples that balances this tradeoff and maximizes the utility. In experimental simulations with the UCI "Adult Data Set" and with synthetically generated data, we confirm that the theoretically predicted optimal number of samples indeed achieves close to the minimal empirical error, and that our analytical error bounds match well with the empirical results.

研究の動機と目的

• 垂直に分割された分散データベース上で正確な統計解析を実行するが、個人のプライバシーを保護する課題に対処すること。
• 不誠実なサーバーが暗号化により元のデータに関するいかなる情報も学習できないようにすること。
• サンプリングを用いてノイズ要件を低減するPRAMを用いて、承認されたアナリストからの個人プライバシーを保護すること。
• ランダムサンプリングとPRAMを組み合わせた際のプライバシー向上を特定し、PRAM単体よりも微分プライバシーの強化が図られることを示すこと。
• プライバシーと統計的有用性のトレードオフを最適化するために、特定のプライバシー予算 𝜖 を満たしつつ推定誤差を最小化する最適なサンプル数を導出すること。

提案手法

• 承認されたアナリストに対する微分プライバシーを確保するため、個々のデータエントリをPRAMで摺り返す。
• PRAMを適用する前に、完全なデータベースからレコードのサブセットをランダムに選択するサンプリングを実施し、必要な有効ノイズを低減する。
• 不誠実なサーバーに送信する前に、1回限りのパッド暗号化をデータに適用し、サーバーが元のデータに関するいかなる情報も推測できないようにする。
• PRAMのための𝛾-対角遷移行列 A を用いてシステムを形式化し、𝛾 が摺り返しの度合いとプライバシーのレベルを制御する。
• サンプリングサイズ m と PRAM パramータ 𝛾 の関数として、真の同時型分布と推定された同時型分布の間の期待 ℓ₂-ノルム推定誤差の理論的境界を導出する。
• 固定されたプライバシー予算 𝜖 の下で導出された誤差境界を最小化することで、サンプリングサイズ m を最適化し、最適な m の閉形式表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 ランダムサンプリングとPRAMを組み合わせることで、PRAM単体と比較して微分プライバシーがどのように向上するか？
• RQ2 特定のプライバシーレベル 𝜖 を満たしつつ推定誤差を最小化する最適なサンプル数 m は何か？
• RQ3 PRAM摺り返しパラメータ 𝛾 の選択が、プライバシーと統計的有用性のトレードオフにどのように影響するか？
• RQ4 実際のデータ分布下で、ℓ₂-ノルム推定誤差に対する理論的境界が実験的に検証可能か？
• RQ5 同じプライバシー水準において、非サンプリング手法と比較して、提案手法がどれほどPRAMに必要なノイズを低減できるか？

主な発見

• ランダムサンプリングとPRAMの組み合わせにより、システムの微分プライバシーが向上し、同じプライバシー予算 𝜖 に対してPRAMに必要なノイズを低減可能である。
• 推定誤差を最小化する最適なサンプリングサイズ m は、m = n(e^𝜖 - 1)/(𝛾 - 1 + |𝒳||𝒴|) として導出され、n は完全なデータベースサイズを表す。
• 期待 ℓ₂-ノルム推定誤差の理論的境界は、E[‖T̂ - T‖₂] ≤ (c√|𝒳||𝒴| + 1)/√m で与えられ、c = 1 + |𝒳||𝒴|/(𝛾 - 1) はPRAM行列の条件数である。
• 導出された最適な m は、UCI Adultデータセットおよび合成データを用いたシミュレーションにおいて、ほぼ最小の実験的誤差を達成し、理論的予測を裏付けた。
• プライバシー境界はタイトである：定理III.2における 𝜖 の値は、例として e^𝜖 の正確な比に達する例が示されたことから、さらに小さくはできない。
• 1回限りのパッド暗号化により、不誠実なサーバーに対する情報理論的セキュリティを達成し、元のデータの漏洩を完全に防止する。