[論文レビュー] Robust and Differentially Private Mean Estimation

Xiyang Liu, Weihao Kong+2 more|arXiv (Cornell University)|Feb 18, 2021

Privacy-Preserving Technologies in Data参考文献 80被引用数 12

ひとこと要約

本稿では、高次元のサブガウス分布における、プライバシー保護とロバスト性を同時に満たす初めての効率的なアルゴリズムであるPRIMEを紹介する。$α$-フラクションの汚染下で、近似的に最適な誤差$O(\alpha\sqrt{\log(1/\alpha)})$を達成し、非ロバストなプライバシー保護平均推定と同等の標本複雑度を達成することで、プライバシーとロバスト性を組み合わせる際に追加の統計的コストが生じないことを示している。

ABSTRACT

In statistical learning and analysis from shared data, which is increasingly widely adopted in platforms such as federated learning and meta-learning, there are two major concerns: privacy and robustness. Each participating individual should be able to contribute without the fear of leaking one's sensitive information. At the same time, the system should be robust in the presence of malicious participants inserting corrupted data. Recent algorithmic advances in learning from shared data focus on either one of these threats, leaving the system vulnerable to the other. We bridge this gap for the canonical problem of estimating the mean from i.i.d. samples. We introduce PRIME, which is the first efficient algorithm that achieves both privacy and robustness for a wide range of distributions. We further complement this result with a novel exponential time algorithm that improves the sample complexity of PRIME, achieving a near-optimal guarantee and matching a known lower bound for (non-robust) private mean estimation. This proves that there is no extra statistical cost to simultaneously guaranteeing privacy and robustness.

研究の動機と目的

• 共有データからの統計的推定における差分プライバシーとロバスト性のギャップを埋めること。
• 攻撃的データ汚染に対して耐性を持ちながら、差分プライバシーを保証する効率的アルゴリズムを設計すること。
• 差分プライバシーとロバスト性を組み合わせた場合、標本複雑度に追加の統計的コストが生じないことを証明すること。
• 実用的用途を想定し、指数時間の最適推定器と多項式時間の効率的バージョン（PRIME）の両方を開発すること。

提案手法

• $(\varepsilon,\delta)$-差分プライバシーと$\alpha$-フラクション汚染下での近似的に最適なロバスト性を達成する指数時間推定器を提案する。
• PRIMEを導入し、上位のPCA方向を用いて外れ値を検出しながら差分プライバシーを保持する多項式時間アルゴリズムである。
• 差分プライバシーを保証するために、共分散行列と平均推定値にノイズを追加するメカニズムを採用する。
• マハラノビス距離に類似したスコアに対してしきい値処理を施し、汚染されたサンプルを特定・低減する。
• $\alpha$-良い集合と有界共分散分布における集中不等式に基づくロバストな平均推定フレームワークを用いる。
• ロバスト統計と差分プライバシーの理論的保証を活用して、標本複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシーとロバスト性を両立する効率的アルゴリズムを設計することは可能か？
• RQ2 差分プライバシーとロバスト性を組み合わせた平均推定において、標本複雑度に統計的コストが生じるか？
• RQ3 差分プライバシー下で$\alpha$-フラクションの汚染データが存在する状況でも、近似的に最適な誤差を達成できるか？
• RQ4 計算効率性の要請が、差分プライバシーとロバスト性を併せ持つ設定において、根本的な標本複雑度のペナルティをもたらすか？

主な発見

• 指数時間推定器は、標本複雑度$\widetilde{\Omega}(d/\alpha^2 + (d + d^{1/2}\log(1/\delta))/(α\varepsilon))$で$O(\alpha\sqrt{\log(1/\alpha)})$の誤差を達成し、非ロバストなプライバシー保護平均推定の既知の下界と一致する。
• PRIMEは、プライバシー項に$d^{1/2}$の要因が加わる代わりに、同じ誤差境界$O(\alpha\sqrt{\log(1/\alpha)})$を達成する標本複雑度$\widetilde{\Omega}(d/\alpha^2 + d^{3/2}\log(1/\delta)/(α\varepsilon))$を達成する。
• 先行研究とは異なり、$\|\mu\|$の既知の上限を必要としないため、一般のサブガウス分布に適用可能である。
• 実験では、大規模なサンプル条件下でPRIMEは標準的なDP平均推定器を著しく上回り、特に高汚染度と高いプライバシー制約下で顕著な性能向上を示す。
• 小規模なサンプル条件下ではノイズが支配的となり、PRIMEの誤差は外れ値検出のためのプライバシー予算割り当てにより増加するが、これは単純なDP推定器に切り替えることで緩和可能である。
• 理論的分析により、ロバスト性が差分プライバシーと組み合わせられた場合に追加の統計的コストが生じないことが確認され、非ロバストなプライバシー保護平均推定の下界と一致する標本複雑度が達成されている。