[論文レビュー] Privacy Induces Robustness: Information-Computation Gaps and Sparse Mean Estimation

Kristian Georgiev, Samuel B. Hopkins|arXiv (Cornell University)|Nov 1, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この論文は微分プライバシーとロバストネスの根本的な関係を確立する。微分プライバシーにおいて高い成功確率を達成するプライベートメカニズムは、入力データの定数分の割合に対する敵対的汚染に対して本質的にロバストである。著者らはメタ定理を提示し、スパース平均推定に応用することで、最適なプライベートメカニズム（特にSum-of-Squares法に基づくもの）が、妥当な計算的理論的仮定（例えば、プラント・クリーク予想）の下で、近似的に最適な標本複雑性を達成するとともに、ロバストであることを示している。

ABSTRACT

We establish a simple connection between robust and differentially-private algorithms: private mechanisms which perform well with very high probability are automatically robust in the sense that they retain accuracy even if a constant fraction of the samples they receive are adversarially corrupted. Since optimal mechanisms typically achieve these high success probabilities, our results imply that optimal private mechanisms for many basic statistics problems are robust. We investigate the consequences of this observation for both algorithms and computational complexity across different statistical problems. Assuming the Brennan-Bresler secret-leakage planted clique conjecture, we demonstrate a fundamental tradeoff between computational efficiency, privacy leakage, and success probability for sparse mean estimation. Private algorithms which match this tradeoff are not yet known -- we achieve that (up to polylogarithmic factors) in a polynomially-large range of parameters via the Sum-of-Squares method. To establish an information-computation gap for private sparse mean estimation, we also design new (exponential-time) mechanisms using fewer samples than efficient algorithms must use. Finally, we give evidence for privacy-induced information-computation gaps for several other statistics and learning problems, including PAC learning parity functions and estimation of the mean of a multivariate Gaussian.

研究の動機と目的

• 微分プライバシーを満たすアルゴリズムが、敵対的データ汚染に対して本質的にロバストかどうかを調査すること。
• 統計的推定問題におけるプライバシー、計算効率、標本複雑性の相互作用を調査すること。
• 計算的理論的仮定の下で、プライベートスパース平均推定における情報-計算ギャップを確立すること。
• プライバシー、正確性、標本複雑性の最適なトレードオフを達成する効率的プライベートアルゴリズムを設計すること。
• プライバシーとロバストネスの関係を、パリティのPAC学習やガウス分布の平均推定を含む他の問題へと拡張すること。

提案手法

• 高い成功確率を達成する微分プライバシーを満たすメカニズムが、入力の定数分の割合に対する敵対的汚染に対してロバストであることを示すメタ定理を提唱すること。
• Sum-of-Squares（SoS）法を用いて、スパース平均推定のための多項式時間プライベートアルゴリズムを設計し、標本複雑性を Õ(k²) に抑えること。
• 情報理論的に最適な標本複雑性を達成する指数時間プライベートメカニズムを構築し、効率的アルゴリズムの閾値未満の性能を実現すること。
• Brennan-Breslerの秘密漏洩プラント・クリーク予想を用いて、ロバストスパース平均推定の計算下界を証明すること。
• CWZ21アルゴリズムを純粋な微分プライバシーに適応するために、ピーリング部分で高度な合成を基本的合成に置き換えること。
• Rényi発散と集中不等式を用いて、zCDP（ゼロ集中微分プライバシー）版のロバストネスメタ定理を定式化すること。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを満たすメカニズムは、敵対的データ汚染に対して自動的にロバストであるか？
• RQ2 微分プライバシーの要請が、統計的推定問題において計算的障壁を引き起こすか？
• RQ3 プライベートスパース平均推定において、標本複雑性、プライバシー、計算効率の最適なトレードオフは何か？
• RQ4 情報理論的に最適なプライベートメカニズムを、同時にロバストなものとして構築できるか？
• RQ5 プライバシーが、パリティのPAC学習やガウス分布の平均推定といった他の統計的問題において、どの程度情報-計算ギャップを引き起こすか？

主な発見

• 高い成功確率（≥1−β）を達成するプライベートメカニズムは、入力の最大 η(n) = O(log(1/β)/(ερn)) の割合に対して、敵対的汚染に対してロバストであり、ここで ε はプライバシーパラメータに依存する。
• Brennan-Breslerのプラント・クリーク予想の下では、スパース平均推定の任意のロバストなアルゴリズムは、真のサポートが利用可能であっても Ω(k²) の標本を必要とする。
• Sum-of-Squares法により、スパース平均推定のための多項式時間プライベートアルゴリズムが得られ、標本複雑性が Õ(k²) に抑えられ、予想される下界と多項対数因子の違いを除いて一致する。
• 指数時間プライベートメカニズムを用いることで、スパース平均推定の O(k log d) の標本複雑性を達成でき、非プライベートな情報理論的下界と一致する。
• 本論文は、ロバストネスメタ定理のzCDP版を提供し、ρ-zCDPメカニズムが η(n) = O(log(1/δ)/(ε(ρ,δ)n + log n)) の汚染に対してロバストであることを示している。ここで ε(ρ,δ) = ρ + 2√(ρ log(1/δ)) である。
• CWZ21アルゴリズムの修正版は、ピーリングステップで高度な合成を基本的合成に置き換えることで、純粋な ε-DP を達成し、より厳しい条件下でのプライバシー保証を実現する。