[論文レビュー] Convergence Rates for Differentially Private Statistical Estimation

Kamalika Chaudhuri, Daniel Hsu|arXiv (Cornell University)|Jun 27, 2012

Privacy-Preserving Technologies in Data参考文献 10被引用数 26

ひとこと要約

この論文は、微分プライバシーを満たす統計推定量の収束速度の上限を確立し、その速度が推定量のグロスエラーセンシティブネス（GES）に依存することを示している。任意の微分プライバシー推定量は、その推定量のGESに応じて収束速度が向上することを証明し、有界な範囲と有界なGESを持つ推定量について上界を提供することで、微分プライバシーとロバスト統計の間の明確な理論的関連性を確立している。

ABSTRACT

Differential privacy is a cryptographically-motivated definition of privacy which has gained significant attention over the past few years. Differentially private solutions enforce privacy by adding random noise to a function computed over the data, and the challenge in designing such algorithms is to control the added noise in order to optimize the privacy-accuracy-sample size tradeoff. This work studies differentially-private statistical estimation, and shows upper and lower bounds on the convergence rates of differentially private approximations to statistical estimators. Our results reveal a formal connection between differential privacy and the notion of Gross Error Sensitivity (GES) in robust statistics, by showing that the convergence rate of any differentially private approximation to an estimator that is accurate over a large class of distributions has to grow with the GES of the estimator. We then provide an upper bound on the convergence rate of a differentially private approximation to an estimator with bounded range and bounded GES. We show that the bounded range condition is necessary if we wish to ensure a strict form of differential privacy.

研究の動機と目的

• 微分プライバシー統計推定における精度の根本的限界を理解すること。
• 微分プライバシー、精度、および標本サイズの間のトレードオフを分析すること。
• 微分プライバシー近似推定量の理論的収束速度を確立すること。
• グロスエラーセンシティブネス（GES）を通じて、微分プライバシーとロバスト統計の関連性を形式化すること。

提案手法

• 著者らは、統計的推定理論の技術を用いて、微分プライバシー推定量の収束速度の上限と下限を導出している。
• 彼らは、微分プライバシーとグロスエラーセンシティブネス（GES）の間の明確な関連性を導入し、GESが最小達成可能な収束速度を決定することを示している。
• 解析は、有界な範囲と有界なGESを持つ推定量に焦点を当てており、厳密な微分プライバシーを保証している。
• この手法では、微分プライバシーを達成しつつ推定精度を維持するためのノイズの特性を同定している。
• 上界は、指定された収束速度を達成する特定の微分プライバシー推定量を構築することで導出されている。
• 下限は、元の推定量のGESによって規定されるより速い収束速度を達成できないこと、すなわち、いかなる微分プライバシー推定量もその速度を超えてはならないことを証明することで確立されている。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー統計推定におけるプライバシーと推定精度の根本的トレードオフは何か？
• RQ2 推定量のグロスエラーセンシティブネス（GES）が、微分プライバシー下での収束速度にどのように影響するか？
• RQ3 微分プライバシー推定量は、元の推定量のGESに依存しない収束速度を達成できるか？
• RQ4 厳密な微分プライバシーを保証するために必要な推定量の条件（例：有界な範囲、有界なGES）は何か？
• RQ5 微分プライバシー推定量の最適収束速度のタイトな特徴づけは存在するか？

主な発見

• 任意の微分プライバシー推定量の収束速度は、その背後にある推定量のグロスエラーセンシティブネス（GES）に応じて増加しなければならない。
• 収束速度の下限が確立され、推定量のGESに比例して少なくともそれだけの速度で増加することが示された。
• 有界な範囲と有界なGESを持つ推定量について、収束速度の上界が提供され、このような推定量が有限で制御可能な速度に達成できることを示した。
• 有界な範囲の条件が、厳密な微分プライバシーを保証するために必要であることが示された。
• 本論文は、GESの概念を通じて、微分プライバシーとロバスト統計の間の明確な理論的関連性を確立した。
• 結果から、GESが大きい推定量は、標本サイズが大きくても、微分プライバシー下で inherently より高い誤差を被るということが示唆された。