[论文解读] Robust and Differentially Private Mean Estimation

Xiyang Liu, Weihao Kong+2 more|arXiv (Cornell University)|Feb 18, 2021

Privacy-Preserving Technologies in Data参考文献 80被引用 12

一句话总结

本文提出了 PRIME，这是首个在高斯分布下实现高效差分隐私与鲁棒性均值估计的算法。在 α 分数数据被污染的条件下，其误差接近最优，为 $O(\alpha\sqrt{\log(1/\alpha)})$，样本复杂度与非鲁棒性隐私均值估计一致，证明了在结合隐私与鲁棒性时无需承担额外的统计成本。

ABSTRACT

In statistical learning and analysis from shared data, which is increasingly widely adopted in platforms such as federated learning and meta-learning, there are two major concerns: privacy and robustness. Each participating individual should be able to contribute without the fear of leaking one's sensitive information. At the same time, the system should be robust in the presence of malicious participants inserting corrupted data. Recent algorithmic advances in learning from shared data focus on either one of these threats, leaving the system vulnerable to the other. We bridge this gap for the canonical problem of estimating the mean from i.i.d. samples. We introduce PRIME, which is the first efficient algorithm that achieves both privacy and robustness for a wide range of distributions. We further complement this result with a novel exponential time algorithm that improves the sample complexity of PRIME, achieving a near-optimal guarantee and matching a known lower bound for (non-robust) private mean estimation. This proves that there is no extra statistical cost to simultaneously guaranteeing privacy and robustness.

研究动机与目标

• 为解决共享数据中统计估计的差分隐私与鲁棒性之间的差距。
• 设计一种高效算法，同时确保差分隐私与对抗性数据污染下的鲁棒性。
• 证明在结合隐私与鲁棒性时，样本复杂度不会产生额外的统计成本。
• 开发一种指数时间最优估计器与一种多项式时间高效变体（PRIME），以适用于实际应用。

提出的方法

• 提出一种指数时间估计器，可在 $\alpha$ 分数污染下实现 $(\varepsilon,\delta)$-差分隐私与近似最优的鲁棒性。
• 提出 PRIME，一种基于主成分分析（PCA）前几维方向的多项式时间算法，用于检测异常值，同时保持差分隐私。
• 在协方差矩阵与均值估计上添加噪声机制，以确保差分隐私。
• 对马氏距离类得分采用阈值策略，以识别并降低被污染样本的权重。
• 基于 $\alpha$-良好集合与有界协方差分布的集中不等式，采用鲁棒性均值估计框架。
• 结合鲁棒统计与差分隐私的理论保证，推导出样本复杂度边界。

实验结果

研究问题

• RQ1 我们能否设计一种高效算法，实现在均值估计中的差分隐私与鲁棒性？
• RQ2 在结合隐私与鲁棒性进行均值估计时，样本复杂度是否存在统计成本？
• RQ3 在差分隐私下，面对 $\alpha$ 分数被污染的数据，能否实现近似最优误差？
• RQ4 计算效率要求是否会在差分隐私鲁棒设置中带来根本性的样本复杂度惩罚？

主要发现

• 指数时间估计器在样本复杂度 $\widetilde{\Omega}(d/\alpha^2 + (d + d^{1/2}\log(1/\delta))/(α\varepsilon))$ 下实现 $O(\alpha\sqrt{\log(1/\alpha)})$ 的误差，与非鲁棒性隐私均值估计的已知下界一致。
• PRIME 在样本复杂度 $\widetilde{\Omega}(d/\alpha^2 + d^{3/2}\log(1/\delta)/(α\varepsilon))$ 下实现相同的误差界，代价是在隐私项中多出一个 $d^{1/2}$ 因子。
• 与先前工作不同，该算法无需已知 $\|\mu\|$ 的上界，因此适用于一般子高斯分布。
• 实验表明，在大样本条件下，PRIME 显著优于标准差分隐私均值估计器，尤其在高污染与高隐私约束下表现更优。
• 在小样本条件下，噪声占主导，由于隐私预算被分配给异常值检测，PRIME 的误差上升，但可通过切换到更简单的差分隐私估计器加以缓解。
• 理论分析证实，当差分隐私与鲁棒性结合时，不会产生额外的统计成本，因为样本复杂度与非鲁棒性隐私均值估计的下界一致。