[論文レビュー] Private and polynomial time algorithms for learning Gaussians and beyond

Hassan Ashtiani, Christopher Liaw|arXiv (Cornell University)|Nov 22, 2021

Machine Learning and Algorithms参考文献 34被引用数 4

ひとこと要約

本稿では、非プライベートな統計的推定アルゴリズムを、プライバシー保護され、多項式時間で実行可能な方法に変換する一般化されたフレームワークを提示する。本手法は、R^d における無制限ガウス分布のプライバシー保護学習において、最適なサンプル複雑度を達成し、これまでに知られている理論的境界に対し対数的要因の差異を除いて一致する。さらに、サンプル複雑度 Õ(d^{3.5}) を有する、最初の効率的なプライベートなロバスト学習アルゴリズムを提供する。

ABSTRACT

We present a fairly general framework for reducing $(\varepsilon, δ)$ differentially private (DP) statistical estimation to its non-private counterpart. As the main application of this framework, we give a polynomial time and $(\varepsilon,δ)$-DP algorithm for learning (unrestricted) Gaussian distributions in $\mathbb{R}^d$. The sample complexity of our approach for learning the Gaussian up to total variation distance $α$ is $\widetilde{O}(d^2/α^2 + d^2\sqrt{\ln(1/δ)}/α\varepsilon + d\ln(1/δ) / α\varepsilon)$ matching (up to logarithmic factors) the best known information-theoretic (non-efficient) sample complexity upper bound due to Aden-Ali, Ashtiani, and Kamath (ALT'21). In an independent work, Kamath, Mouzakis, Singhal, Steinke, and Ullman (arXiv:2111.04609) proved a similar result using a different approach and with $O(d^{5/2})$ sample complexity dependence on $d$. As another application of our framework, we provide the first polynomial time $(\varepsilon, δ)$-DP algorithm for robust learning of (unrestricted) Gaussians with sample complexity $\widetilde{O}(d^{3.5})$. In another independent work, Kothari, Manurangsi, and Velingker (arXiv:2112.03548) also provided a polynomial time $(\varepsilon, δ)$-DP algorithm for robust learning of Gaussians with sample complexity $\widetilde{O}(d^8)$.

研究の動機と目的

• 非プライベートな統計的推定器を、差分プライバシー保護され、多項式時間で実行可能なアルゴリズムに変換する一般化手法の開発。
• (ε,δ)-差分プライバシー下での、無制限多変量ガウス分布の効率的かつプライベートな学習という未解決問題に取り組む。
• 一部のサンプルが任意に汚染されている状況下でも、多項式時間で差分プライバシー保護されたガウス分布のロバスト学習を実現する、最初のアルゴリズムを提供する。
• 非プライベートな境界に、対数的要因を除いて一致するか、それに近い、プライベートなガウス分布学習のための情報理論的最良サンプル複雑度境界を達成すること。

提案手法

• 任意の非プライベート統計的推定器を、(ε,δ)-差分プライバシーを満たす多項式時間実行のアルゴリズムに変換する一般化還元手法の導入。
• マスク化メカニズムによるノイズ注入と組み合わせた、プライベートなロバスト平均推定器（QUEScoreFilter）を用いて、プライベート平均推定を実施。
• 局所的に小さなカバーを持つガウス分布のためのプライベート仮説選択法に基づくプライベート共分散推定アルゴリズムの使用。
• プライベートな平均推定と共分散推定を統合し、多変量ガウス分布の完全なプライベート学習アルゴリズムを構築。
• 集中法およびプライバシー強化技術を活用し、近似的差分プライバシー下でプライバシーと有効性の両方の保証を確保。
• 2段階アプローチを採用：まずプライバシー制約下で平均をロバストに推定し、次に注意深く構築されたカバーを用いたプライベート仮説選択メカニズムにより共分散を推定。

実験結果

リサーチクエスチョン

• RQ1 非プライベートな統計的推定器を、差分プライバシー保護され、多項式時間で実行可能なアルゴリズムに変換する一般化フレームワークを設計可能か？
• RQ2 高次元 R^d における無制限ガウス分布のプライベート学習において、効率的なアルゴリズムで最適なサンプル複雑度を達成可能か？
• RQ3 データが汚染されている状況下でも、(ε,δ)-差分プライバシー下で効率的にプライベートなロバストガウス学習を実現可能か？
• RQ4 多変量ガウス分布のプライベートかつ効率的な学習のための、達成可能な最もタイトなサンプル複雑度は何か？非プライベート境界に、対数的要因を除いて一致可能か？

主な発見

• 提案されたフレームワークにより、R^d における無制限ガウス分布の学習に対して、(ε,δ)-DPアルゴリズムが得られ、サンプル複雑度は Õ(d²/α² + d²√(ln(1/δ))/(αε) + d ln(1/δ)/(αε)) となる。これは、非プライベートな境界に、対数的要因を除いて一致する。
• アルゴリズムは d, 1/α, 1/ε, log(1/δ) に関して多項式時間で実行可能であり、高次元ガウス分布に対しても効率的な計算を達成する。
• サンプル複雑度 Õ(d^{3.5}) を有する、最初の多項式時間で(ε,δ)-DPなロバストガウス学習アルゴリズムが達成され、従来の Õ(d^8) に比べて顕著な改善が得られた。
• フレームワークにより、(2ε, 4e^εδ)-DP下で誤差 O(α√(log(1/α))) を達成するプライベートなロバスト平均推定が可能となり、プライベートなロバスト平均推定器とノイズ注入を組み合わせた。
• ロバスト共分散推定部は、同じプライバシー予算下で有効性保証を達成し、完全なプライベートガウス学習パイプラインの基盤を形成する。
• ロバスト学習アルゴリズムのサンプル複雑度は、共分散推定ステップに支配されており、将来的な最適化の対象として特定された。