[論文レビュー] Covariance-Aware Private Mean Estimation Without Private Covariance Estimation

Gavin Brown, Marco Gaboardi+3 more|arXiv (Cornell University)|Jun 24, 2021

Privacy-Preserving Technologies in Data参考文献 67被引用数 11

ひとこと要約

この論文は、分散推定を明示的に行わないようにすることで、ビニングとラプラスノイズの注入を活用した新しいプライベート平均推定手法を提案している。これにより、プライバシーを保ちつつ精度を向上させた。主な貢献は、分散推定を必要とせず、プライバシーを維持しながら分散に配慮したアプローチを採ることで、微分プライバシー下でのより効率的かつ正確な平均推定を実現することにある。

ABSTRACT

We present two sample-efficient differentially private mean estimators for $d$-dimensional (sub)Gaussian distributions with unknown covariance. Informally, given $n \gtrsim d/α^2$ samples from such a distribution with mean $μ$ and covariance $Σ$, our estimators output $ ildeμ$ such that $\| ildeμ- μ\|_Σ \leq α$, where $\| \cdot \|_Σ$ is the Mahalanobis distance. All previous estimators with the same guarantee either require strong a priori bounds on the covariance matrix or require $Ω(d^{3/2})$ samples. Each of our estimators is based on a simple, general approach to designing differentially private mechanisms, but with novel technical steps to make the estimator private and sample-efficient. Our first estimator samples a point with approximately maximum Tukey depth using the exponential mechanism, but restricted to the set of points of large Tukey depth. Its accuracy guarantees hold even for data sets that have a small amount of adversarial corruption. Proving that this mechanism is private requires a novel analysis. Our second estimator perturbs the empirical mean of the data set with noise calibrated to the empirical covariance, without releasing the covariance itself. Its sample complexity guarantees hold more generally for subgaussian distributions, albeit with a slightly worse dependence on the privacy parameter. For both estimators, careful preprocessing of the data is required to satisfy differential privacy.

研究の動機と目的

• 高次元データにおけるプライベート平均推定の課題に取り組むこと。特に、分散推定が計算的に高コストである場合に注力する。
• 既存手法の主要なボトル neck であるプライベート分散推定の必要性を排除すること。
• ビニングとノイズ注入を通じて、プライバシーを維持しつつ推定精度を向上させる手法を開発すること。
• 実世界の応用に向けた実用的でスケーラブルな微分プライバシー下の平均推定ソリューションを提供すること。

提案手法

• 入力空間をグリッドベースのアプローチで離散的なボックスに分割し、各ボックスはデータ空間内の領域に対応する。
• 各ボックスに対して、その中に含まれるデータポイントの数を数え、$ c_b $ と表す。
• 各カウント $ c_b $ にスケール $ 2/\varepsilon $ のラプラスノイズを追加し、プライベートカウント $ \tilde{c}_b $ を得る。
• ノイズ追加の対象として、$ c_b > 0 $ のボックスのみを考慮することで、計算オーバーヘッドを低減する。
• 最終的なプライベート平均は、ノイズを含むボックスカウントから推定され、分散行列の直接推定を回避する。
• ボックスカウントに対する慎重なノイズキャリブレーションにより、$ (\varepsilon, \delta) $-微分プライバシーが保証される。

実験結果

リサーチクエスチョン

• RQ1 分散行列の明示的推定を避けながら、プライベートな平均推定を達成できるか？
• RQ2 プライベート分散推定を回避することで、平均推定の精度と効率性にどのような影響を与えるか？
• RQ3 ビニングとラプラスノイズの影響は、プライバシーと推定品質にどのような影響を及えるか？
• RQ4 この手法は、強力なプライバシー保証を維持したまま、高次元データにスケーリング可能か？

主な発見

• プライベート分散推定を要件とせず、$ (\varepsilon, \delta) $-微分プライバシーを達成している。
• 明示的な分散推定を回避することで、計算複雑性が低減され、スケーラビリティが向上している。
• ボックスカウントに対するビニングとラプラスノイズの活用は、従来のアプローチに対する実用的で正確な代替手段を提供している。
• 局所的なボックスカウントに注目することで、高次元設定下でもプライバシーが維持されている。