[論文レビュー] Efficient, Differentially Private Point Estimators

Adam Smith|ArXiv.org|Sep 27, 2008

Privacy-Preserving Technologies in Data参考文献 26被引用数 63

ひとこと要約

本稿は、ブロック単位のMLE推定とラプラスノイズ注入を組み合わせることで、漸近的効率性と不偏性を達成する、パラメトリックモデル向けの微分プライバシーを満たす点推定法を提案する。主な結果は、標本サイズが増加するにつれて推定器の平均二乗誤差がCramér-Raoの下界に収束することであり、微分プライバシーが統計的精度への影響を次第に小さくする形で達成可能であることを示している。

ABSTRACT

Differential privacy is a recent notion of privacy for statistical databases that provides rigorous, meaningful confidentiality guarantees, even in the presence of an attacker with access to arbitrary side information. We show that for a large class of parametric probability models, one can construct a differentially private estimator whose distribution converges to that of the maximum likelihood estimator. In particular, it is efficient and asymptotically unbiased. This result provides (further) compelling evidence that rigorous notions of privacy in statistical databases can be consistent with statistically valid inference.

研究の動機と目的

• パラメトリックモデルにおいて、統計的効率性と漸近的不偏性を維持する微分プライバシーを満たす推定法の開発。
• 標本サイズが増加するにつれて推定精度への影響が最小限に抑えられる形で、微分プライバシーを達成できることの証明。
• 感受性の高いデータ分析における、きめ細かなプライバシー保証と統計的妥当な推論の間の溝を埋めること。
• 分布において最尤推定器に収束する、実用的な微分プライバシー推定法の構築手法の提供。

提案手法

• 手法は、データセットをk個の重複のないブロックに分割し、各ブロックのサイズをt = n/kとする。
• 各ブロックに対して、最尤推定値（MLE）を計算し、k個の推定値z₁, ..., zₖを導出する。
• ブロック推定値を平均化してz̄ = (1/k)∑zᵢを形成し、これは真のパラメータθの一貫した推定器である。
• ε-微分プライバシーを確保するため、平均z̄にスケールΛ/(kε)のラプラスノイズを加える。ここでΛはパラメータ空間の直径である。
• 最終的な推定器T* = z̄ + Lap(Λ/(kε))は、ブロック平均の感度解析により、ε-微分プライバシーであることが示される。
• バイアス、分散、ノイズ寄与のバランスを最適化するため、k = ⌈n³ᐟ⁵Λ²ᐟ⁵/ε²ᐟ⁵⌉としてkの選択を最適化し、漸近的効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを満たす推定器は、その漸近的分布が最尤推定器の分布に収束するように構築可能か？
• RQ2 微分プライバシー（εで制御される）とパラメトリック推定における統計的効率性のトレードオフは何か？
• RQ3 プライバシーのための摂動を、推定誤差の観点から漸近的に無視できるものにできるか？
• RQ4 kとεに関してどのような条件下で、微分プライバシー推定器は漸近的に不偏かつ効率的であるか？

主な発見

• 提案された推定器T*は、ブロック平均MLEの感度を上限で評価することで、任意のkの選択に対してε-微分プライバシーであることが示された。
• ε = ω(n⁻¹ᐟ⁶)であり、kが⌈n³ᐟ⁵Λ²ᐟ⁵/ε²ᐟ⁵⌉として選ばれるとき、推定器は平均二乗誤差(1+o(1))/(nI(θ))で漸近的効率性を達成する。
• 推定器のバイアスはO((k/n)³ᐟ²)であり、k = o(n²ᐟ³)であれば消滅するため、漸近的不偏性が保証される。
• 推定器の分散は(1+o(1))/(nI(θ)) + O(nΛ²/(k²ε²))であり、k = ω(√n/ε)のときノイズ寄与が無視可能になる。
• n → ∞のとき、推定器の相対誤差は1に近づくため、与えられた条件下で推定器が漸近的効率的であることが確認された。
• この結果は、微分プライバシーと統計的妥当な推論が、最悪の側情報のもとでも両立可能である強力な証拠を提供する。