[論文レビュー] INSPECTRE: Privately Estimating the Unseen

Jayadev Acharya, Gautam Kamath+2 more|arXiv (Cornell University)|Feb 28, 2018

Privacy-Preserving Technologies in Data参考文献 34被引用数 5

ひとこと要約

INSPECTRE は、感度解析とラプラスノイズを用いて、最新の非プライベート手法を適合させることで、基本的な分布的性質—サポートサイズ、サポートカバレッジ、エントロピー—の微分プライバシー推定器を提案する。主な貢献は、プライバシーのコストがほとんど無視できるほど低く、$1/\alpha\varepsilon$ に比例するわずかな加法的オーバーヘッドで抑えられることであり、高次元またはスパースな設定でもプライベート推定が可能になることである。

ABSTRACT

We develop differentially private methods for estimating various distributional properties. Given a sample from a discrete distribution $p$, some functional $f$, and accuracy and privacy parameters $α$ and $\varepsilon$, the goal is to estimate $f(p)$ up to accuracy $α$, while maintaining $\varepsilon$-differential privacy of the sample. We prove almost-tight bounds on the sample size required for this problem for several functionals of interest, including support size, support coverage, and entropy. We show that the cost of privacy is negligible in a variety of settings, both theoretically and experimentally. Our methods are based on a sensitivity analysis of several state-of-the-art methods for estimating these properties with sublinear sample complexities.

研究の動機と目的

• データが乏しく、機微な情報を含む状況において、離散分布におけるレアイベントの推定という課題に取り組む。
• プライバシーを維持しながら、サポートサイズ、サポートカバレッジ、エントロピーといった主要な分布的性質を正確に推定できる微分プライベートなアルゴリズムを開発する。
• プライベート推定に必要なサンプル複雑性を最小限に抑え、計算効率と実用的適用性を確保する。
• ドメインサイズ $k$ が大きく、プライバシー予算 $\varepsilon$ が中程度である現実的状況において、微分プライバシーのコストがほとんど無視できることが示される。

提案手法

• 入力の変化に対する感度を分析することで、先行研究（例：サポートカバレッジのための SGT およびエントロピーとサポートサイズのための他の手法）の非プライベート推定器を適合させる。
• 推定器の感度に比例するノイズをラプラスメカニズムで追加し、$(\varepsilon, 0)$-微分プライバシーを保証する。
• サンプルから得られるデータ依存パラメータ $r$ を用いてノイズスケールを制御し、先行研究の理論的知見に基づく。
• 既存のサブラインアーリサンプル推定器のプライバシー化されたバージョンを実装し、統計的効率性を保ちつつプライバシー保証を追加する。
• 推定器の構造とプライバシーパラメータ $\varepsilon$ に依存する感度バウンディング $2(1 + e^{r(t-1)})/\varepsilon$ を用いてノイズをキャリブレーションする。
• 合成データ、米国国勢調査データ、シェイクスピアの『ハムレット』を用いた広範な実験を通じて性能を検証し、非プライベートベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー、サポートカバレッジ、サポートサイズといった分布的性質をプライベートに推定するための最小限のサンプル複雑性は何か？
• RQ2 精度 $\alpha$、プライバシー予算 $\varepsilon$、ドメインサイズ $k$ に対して、微分プライバシーのコストはどのようにスケーリングされるか？
• RQ3 非プライベート手法と比較して、わずかな加法的オーバーヘッドで、複雑な分布的性質のプライベート推定が達成可能か？
• RQ4 どのような状況でプライバシーのコストが無視できるようになり、またどのような状況で性能が著しく低下するか？
• RQ5 高スパarsity またはオーバーサンプリングを示す現実世界のデータセット（例：国勢調査データや文学的テキスト）において、プライバシー化された推定器はどのように動作するか？

主な発見

• エントロピーのプライベート推定におけるサンプル複雑性は、$O(1/\alpha\varepsilon)$ の加法的コストを伴うが、これはほぼ最適であり、ドメインサイズ $k$ に依存しない。
• $k$ が大きい場合、$k \gg 1/\alpha\varepsilon$ の範囲ではプライバシーのオーバーヘッドが $o(1)$ となるため、固有のサンプル複雑性に比べてプライバシーがほとんどコストを追加しない。
• 合成データ上の実験結果から、$\varepsilon = 1, 2, 10$ の場合、プライベート推定器のRMSEは非プライベートのSGT推定器とほとんど区別できない。
• 現実世界のデータセット（2000年米国国勢調査、シェイクスピアの『ハムレット』）においても、$\varepsilon = 0.5$ の場合でさえ、プライベート推定器は非プライベートベースラインとほぼ同等の性能を達成している。
• 小さなサポートサイズ（例：$k \approx 100$）では、非常に異なるサポートサイズを持つ隣接データセットの近接性が原因で、プライバシーのコストが顕著になる。これは根本的なトレードオフを示している。
• 理論的下界により、サンプル複雑性の上界がほぼタイトであることが確認され、提案手法の効率性が裏付けられている。