[論文レビュー] Robustness Implies Privacy in Statistical Estimation

Samuel B. Hopkins, Gautam Kamath+2 more|arXiv (Cornell University)|Dec 9, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿は、高次元統計におけるロバスト推定への微分プライバシー推定への最初のブラックボックス還元を提示する。これにより、ほぼ最適なサンプル数・精度・プライバシーのトレードオフを達成する多項式時間プライベート推定器が、高次元ガウス分布の平均および共分散の推定に可能になる。Sum-of-Squares法に基づくロバスト推定器を活用することで、プライバシーとロバストネスを同時に満たし、最適またはほぼ最適な性能保証を達成する。

ABSTRACT

We study the relationship between adversarial robustness and differential privacy in high-dimensional algorithmic statistics. We give the first black-box reduction from privacy to robustness which can produce private estimators with optimal tradeoffs among sample complexity, accuracy, and privacy for a wide range of fundamental high-dimensional parameter estimation problems, including mean and covariance estimation. We show that this reduction can be implemented in polynomial time in some important special cases. In particular, using nearly-optimal polynomial-time robust estimators for the mean and covariance of high-dimensional Gaussians which are based on the Sum-of-Squares method, we design the first polynomial-time private estimators for these problems with nearly-optimal samples-accuracy-privacy tradeoffs. Our algorithms are also robust to a nearly optimal fraction of adversarially-corrupted samples.

研究の動機と目的

• サンプル数、精度、プライバシーの間の最適なトレードオフを達成する計算的に効率的なプライベートな高次元推定アルゴリズムのギャップを埋める。
• 統計的推定における敵対的ロバストネスと微分プライバシーの間の明示的な関係を確立する。
• 微分プライバシーの保証を満たしつつ、汚染されたデータに対してロバスト性を備えたプライベート推定器を設計する。
• Sum-of-Squaresに基づくロバスト推定器の良好な構造的性質を活用することで、プライベート推定器の多項式時間計算を可能にする。
• 高次元における基本的な問題、たとえば平均および共分散推定において、ほぼ最適なプライバシー・精度・サンプル数のトレードオフを達成する。

提案手法

• 任意のロバスト推定器を微分プライバシー推定器に変換するブラックボックス還元を提案し、その精度およびサンプル数の保証を維持する。
• 不完全なオракルを用いた体積計算に基づくプライベートサンプリングアルゴリズムを用い、良好に整えられた凸体からプライベートなサンプルを生成する。
• Sum-of-Squares（SoS）法から導かれるロバスト推定器にこの還元を適用することで、結果得られるプライベート推定器の多項式時間実装を可能にする。
• 敵対的汚染下でのモーメント（一次および二次）のレジリエンス特性を活用し、プライベート推定器の安定性を保証する。
• スコア関数および行列集中不等式を用いて誤差伝搬を制御し、最終出力におけるプライバシーおよび精度を保証する。
• 基本的な合成定理を用いて、複数のプライベート推定ステップ（例：平均、共分散、プリコンディショニング）を組み合わせ、プライバシー予算および失敗確率の増加を制御する。

実験結果

リサーチクエスチョン

• RQ1 ロバスト推定を体系的に活用することで、高次元設定において最適なトレードオフを達成する微分プライベート推定器を構築できるか？
• RQ2 内部構造へのアクセスを必要とせず、ブラックボックス手法によってロバスト推定器をプライベート推定器に変換できる条件は何か？
• RQ3 元のロバスト推定器がSum-of-Squares法に基づく場合、その結果得られるプライベート推定器は、多項式時間で計算可能か？
• RQ4 より強いロバストネス特性を用いることで、プライバシー保証を強化したり、有界パrameter空間の仮定を撤廃したりできるか？
• RQ5 結果得られるプライベート推定器のプライバシーと精度のトレードオフは、高次元平均および共分散推定における既知の下界と比較してどの程度か？

主な発見

• 本稿は、プライバシーからロバストネスへのブラックボックス還元を確立し、高次元ガウス分布の平均および共分散推定において、最適またはほぼ最適なサンプル数・精度・プライバシーのトレードオフを達成するプライベート推定器を実現する。
• Sum-of-Squares法に基づくほぼ最適な多項式時間ロバスト推定器に適用した場合、本還元により、高次元ガウス分布の平均および共分散推定において、初めての多項式時間プライベート推定器が得られ、ほぼ最適なトレードオフを達成する。
• 結果得られるプライベート推定器は、敵対的に汚染されたサンプルの定数割合に対してロバストである。これは、元の推定器のロバストネスを継承している。
• 元のロバスト推定器がより強い最悪ケースのロバストネス特性を満たす場合、有界パrameter空間の仮定を排除できるが、純粋な微分プライバシーから近似微分プライバシーに弱体化する。
• 合成によるプライバシー予算および失敗確率は3倍に増加するが、サンプル数はパイプラインの最も要求の厳しいコンponentに支配される。
• 最終的な推定器は、真のガウス分布との全変動距離誤差が $ O(\alpha) $ であり、推定された共分散行列と真の共分散行列とのマハラノビス距離誤差も $ O(\alpha) $ である。