[論文レビュー] Statistical Properties of Sanitized Results from Differentially Private Laplace Mechanism with Univariate Bounding Constraints

Fang Liu|arXiv (Cornell University)|Jul 28, 2016

Privacy-Preserving Technologies in Data参考文献 34被引用数 7

ひとこと要約

本稿では、境界付き単変量統計量（例：割合、相関係数）の微分プライバシー的洗練のため、切り捨ておよび境界拡張付き切り捨て（BIT）ラプラス機構を提案し、分析する。既知の境界にラプラスノイズを制限することにより、単純な切り捨てと比較してバイアスと平均二乗誤差（MSE）を低減し、プライバシー予算下で一貫性と最適収束速度を達成する。

ABSTRACT

Protection of individual privacy is a common concern when releasing and sharing data and information. Differential privacy (DP) formalizes privacy in probabilistic terms without making assumptions about the background knowledge of data intruders, and thus provides a robust concept for privacy protection. Practical applications of DP involve development of differentially private mechanisms to generate sanitized results at a pre-specified privacy budget. For the sanitization of statistics with publicly known bounds such as proportions and correlation coefficients, the bounding constraints will need to be incorporated in the differentially private mechanisms. There has been little work on examining the consequences of the bounding constraints on the accuracy of sanitized results and the statistical inferences of the population parameters based on the sanitized results. In this paper, we formalize the differentially private truncated and boundary inflated truncated (BIT) procedures for releasing statistics with publicly known bounding constraints. The impacts of the truncated and BIT Laplace procedures on the statistical accuracy and validity of sanitized statistics are evaluated both theoretically and empirically via simulation studies.

研究の動機と目的

• 微分プライバシー的洗練結果の統計的正確性および有効性に制約が与える影響についての理論的分析の不足に対処すること。
• 境界付き統計量の微分プライバシー下での洗練のための2つの新規メカニズム—切り捨ておよび境界拡張付き切り捨て（BIT）—を形式化し、分析すること。
• シミュレーションを通じて理論的および実証的に、これらのメカニズムの統計的性質（バイアス、一貫性、MSE）を評価すること。
• 提案されたメカニズムが微分プライバシーを維持しながら、単純な切り捨てと比較して顕著に正確性を向上させることを確立すること。
• 標準的なプライバシー予算および感度スケーリング下で、切り捨ておよびBITメカニズムのバイアスおよびMSEの収束速度が最適であることを示すこと（MSE = O(n^{-2k}））。

提案手法

• 統計量の既知の境界 [c₀, c₁] に制限されたゼロ平均ラプラス分布からノイズをサンプリングする切り捨てラプラスメカニズムを提案する。
• 境界 c₀ および c₁ における確率質量を拡張することで、境界付近のバイアスを低減する境界拡張付き切り捨て（BIT）メカニズムを導入する。
• 閉形式の期待値および積分を用いて、両メカニズム下での洗練結果のバイアス、分散、および平均二乗誤差（MSE）の正確な式を導出する。
• 全期待値および全分散の法則を用いて、標本サイズの増加に伴う洗練推定量の漸近的一貫性を分析する。
• 条件付き期待値および分散の収束に関する理論的補題を適用し、洗練結果が確率的に真のパラメータに収束することを証明する。
• シミュレーションスタディを用いて理論的結果を検証し、単純な切り捨ておよび非制限ラプラスメカニズムと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 制約が微分プライバシー的洗練結果の統計的正確性および有効性に与える影響は何か？
• RQ2 統計量の既知の境界にラプラスノイズを切り捨てる影響は、バイアスおよび平均二乗誤差（MSE）にどのような影響を与えるか？
• RQ3 境界拡張付き切り捨て（BIT）メカニズムは、標準的な切り捨てと比較して境界付近のバイアスをより効果的に低減できるか？
• RQ4 提案されたメカニズムは、統計的効率性および一貫性を向上させながら、微分プライバシーを維持できるか？
• RQ5 標準的なプライバシー予算化下で、切り捨ておよびBITメカニズムのバイアスおよびMSEの収束速度は何か？

主な発見

• 切り捨てラプラスメカニズムは、単純な切り捨てと比較してMSEを低減し、MSEは 2λ² 以下に有界である。ここで λ = δₛ/ε はスケールパラメータである。
• BITメカニズムは境界 c₀ および c₁ における確率を拡張することでバイアスをさらに低減し、切り捨てメカニズムよりも小さいMSEを達成する。
• 両メカニズムとも一貫性を達成する：標本サイズ n が増加するにつれて、洗練推定量 s* は確率的に真のパrameter θ に収束する。
• グローバル感度 δₛ ∝ n^{-k} のとき、両メカニズムのMSEは O(n^{-2k}) のレートでゼロに収束し、漸近的効率性を保証する。
• 理論的分析により、E(s* | θ) → θ および V(s* | θ) → 0 が n → ∞ のとき成り立つことが確認され、推定量の一貫性が検証される。
• BITメカニズムのMSEは、バイアスおよび分散補正の負の項が存在するため、2λ² よりも厳密に小さいことが示され、統計的性能の向上が裏付けられる。