[论文解读] Robustness Implies Privacy in Statistical Estimation

Samuel B. Hopkins, Gautam Kamath+2 more|arXiv (Cornell University)|Dec 9, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文首次实现了从高维统计中不同差分隐私估计到鲁棒估计的黑盒约化，使得高斯分布的均值和协方差的差分隐私估计器能够在多项式时间内运行，且在样本量-精度-隐私之间实现近乎最优的权衡。通过利用基于平方和（Sum-of-Squares）方法的鲁棒估计器，该方法同时实现了隐私性和鲁棒性，且具有最优或近似最优的性能保证。

ABSTRACT

We study the relationship between adversarial robustness and differential privacy in high-dimensional algorithmic statistics. We give the first black-box reduction from privacy to robustness which can produce private estimators with optimal tradeoffs among sample complexity, accuracy, and privacy for a wide range of fundamental high-dimensional parameter estimation problems, including mean and covariance estimation. We show that this reduction can be implemented in polynomial time in some important special cases. In particular, using nearly-optimal polynomial-time robust estimators for the mean and covariance of high-dimensional Gaussians which are based on the Sum-of-Squares method, we design the first polynomial-time private estimators for these problems with nearly-optimal samples-accuracy-privacy tradeoffs. Our algorithms are also robust to a nearly optimal fraction of adversarially-corrupted samples.

研究动机与目标

• 填补计算高效、具有最优样本复杂度-精度-隐私权衡的高维估计算法之间的空白。
• 在统计估计中建立对抗鲁棒性与差分隐私之间的正式联系。
• 设计继承对污染数据鲁棒性的差分隐私估计器，同时满足差分隐私保证。
• 通过利用基于平方和方法的鲁棒估计器所具备的有利结构特性，实现差分隐私估计器的多项式时间计算。
• 在高维空间中实现均值与协方差估计等基础问题的近似最优隐私-精度-样本复杂度权衡。

提出的方法

• 提出一种黑盒约化方法，将任意鲁棒估计器转化为差分隐私估计器，同时保持其精度和样本复杂度保证。
• 使用基于体积计算的私有采样算法，结合一个不完美的预言机，从一个良好对称的凸体中生成私有样本。
• 将该约化方法应用于基于平方和（SoS）方法推导出的鲁棒估计器，从而实现最终差分隐私估计器的多项式时间实现。
• 利用一阶与二阶矩在对抗性污染下的鲁棒性，确保私有估计器的稳定性。
• 利用得分函数和矩阵集中不等式控制误差传播，确保最终输出的隐私性和精度。
• 通过基本的组合定理组合多个私有估计步骤（例如均值、协方差和预条件化），在隐私预算和失败概率可控的前提下逐步增加。

实验结果

研究问题

• RQ1 是否可以系统性地利用鲁棒估计来构建高维设置下具有最优权衡的差分隐私估计器？
• RQ2 在何种条件下，可通过黑盒方法将鲁棒估计器转化为私有估计器，而无需访问其内部结构？
• RQ3 当底层鲁棒估计器基于平方和方法时，所得到的私有估计器是否能够高效计算（即多项式时间）？
• RQ4 若采用更强的鲁棒性属性，能否增强隐私保证或移除有界参数空间假设？
• RQ5 所得到的私有估计器的隐私与精度权衡与高维均值与协方差估计的已知下界相比如何？

主要发现

• 本文建立了从隐私到鲁棒性的黑盒约化，使得高维均值与协方差估计的私有估计器能够实现最优或近乎最优的样本-精度-隐私权衡。
• 当应用于基于平方和方法的近似最优多项式时间鲁棒估计器时，该约化方法首次实现了高斯分布均值与协方差的多项式时间私有估计器，且具有近乎最优的权衡。
• 所得到的私有估计器对常数比例的对抗性污染样本具有鲁棒性，继承了底层估计器的鲁棒性。
• 当底层鲁棒估计器满足更强的最坏情况鲁棒性属性时，该方法可消除有界参数空间假设，但代价是将纯差分隐私弱化为近似差分隐私。
• 由于组合效应，隐私预算和失败概率增加了三倍，但样本复杂度仍由流水线中最耗时的组件主导。
• 最终估计器与真实高斯分布之间的总变差距离误差为 $ O(\alpha) $，估计协方差矩阵与真实协方差矩阵之间的马氏距离误差也为 $ O(\alpha) $。