[论文解读] Differentially private inference via noisy optimization

Marco Avella-Medina, Casey Bradshaw+1 more|arXiv (Cornell University)|Mar 19, 2021

Statistical Methods and Inference被引用 7

一句话总结

本文提出了一种新颖的差分隐私优化框架，结合噪声梯度下降与噪声牛顿法，以在局部强凸性或自洽性条件下计算具有全局收敛保证的私有M-估计量。该方法实现了近最小最大最优估计，并通过私有方差估计实现了渐近有效的置信区域，显著提升了小样本覆盖率，得益于一种偏差校正方法。

ABSTRACT

We propose a general optimization-based framework for computing differentially private M-estimators and a new method for constructing differentially private confidence regions. Firstly, we show that robust statistics can be used in conjunction with noisy gradient descent or noisy Newton methods in order to obtain optimal private estimators with global linear or quadratic convergence, respectively. We establish local and global convergence guarantees, under both local strong convexity and self-concordance, showing that our private estimators converge with high probability to a small neighborhood of the non-private M-estimators. Secondly, we tackle the problem of parametric inference by constructing differentially private estimators of the asymptotic variance of our private M-estimators. This naturally leads to approximate pivotal statistics for constructing confidence regions and conducting hypothesis testing. We demonstrate the effectiveness of a bias correction that leads to enhanced small-sample empirical performance in simulations. We illustrate the benefits of our methods in several numerical examples.

研究动机与目标

• 开发一种基于优化的通用差分隐私M-估计框架，确保隐私的同时保持统计效率。
• 在局部强凸性条件下，建立带噪声梯度下降的全局有限样本收敛性，实现向近最优邻域的线性收敛。
• 提出一种差分隐私牛顿法，在类似条件下实现二次收敛，通过固定阻尼步长避免回溯。
• 通过带噪声的沙漏公式构造差分隐私的渐近方差估计量，构建渐近有效的置信区域。
• 通过一种新颖的偏差校正方法提升小样本下的置信区域覆盖率。

提出的方法

• 在每次迭代中添加隐私保护噪声的带噪声梯度下降，利用鲁棒M-估计量避免梯度裁剪带来的问题。
• 通过在每次迭代中向梯度和海塞矩阵注入噪声，应用带噪声牛顿步，确保差分隐私的同时保持收敛性。
• 采用两阶段策略：当远离解时使用固定步长η < 1的阻尼牛顿步，当满足可验证条件时切换至纯牛顿法（η = 1）。
• 通过在沙漏方差估计量上使用矩阵值噪声机制，构建差分隐私置信区域，确保两个方差分量的隐私性。
• 对私有方差估计量引入偏差校正，以提升小样本下的覆盖率。
• 通过μ-GDP（高斯差分隐私）校准隐私，并通过局部强凸性或自洽性假设确保收敛性。

Figure 1: Noisy gradient descent trajectories for linear regression. (a) Estimates of a single coordinate of the regression vector. (b) Gradient of the loss function evaluated at the current iterate, plotted on a log scale.

实验结果

研究问题

• RQ1 在差分隐私下，结合鲁棒M-估计量的带噪声梯度下降能否实现全局线性收敛与近最小最大最优性？
• RQ2 在梯度与海塞矩阵中均注入噪声的差分隐私牛顿法能否实现二次收敛，并在性能上优于梯度下降？
• RQ3 能否构造出差分隐私的渐近方差估计量，以在差分隐私下实现渐近有效的置信区域？
• RQ4 所提出的偏差校正方法如何改善小样本下私有置信区间的经验覆盖率？
• RQ5 在差分隐私下，鲁棒M-估计量与梯度裁剪和目标扰动相比，在估计误差与偏差方面表现如何？

主要发现

• 在局部强凸性条件下，结合鲁棒M-估计量的带噪声梯度下降以高概率实现向非私有M-估计量附近小邻域的全局线性收敛。
• 在局部强凸性或自洽性条件下，所提出的带噪声牛顿法实现向近最优解的二次收敛，当初始点远离最优解时，性能优于带噪声梯度下降。
• 通过私有沙漏公式构建的置信区域方法实现了渐近有效性，并通过偏差校正显著提升了小样本覆盖率。
• 在模拟实验中，结合鲁棒权重的带噪声梯度下降在有界数据环境下优于目标扰动与梯度裁剪，尤其在裁剪程度较低时表现更优。
• 在无界数据设定下，结合鲁棒权重的带噪声梯度下降与使用Mallows权重的目标扰动表现相当，而梯度裁剪引入了明显偏差。
• 偏差校正方法显著提升了置信区间的经验覆盖率，尤其在低样本情形下，且不损害隐私保证。

Figure 2: (a) Noisy Newton’s method vs. gradient descent. The vertical axis records the norm of the gradient trajectory on a log scale. (b) Divergence of noisy damped Newton. When $\eta=1$ (pure Newton), the algorithm may not converge if the initial point is far from the global optimum $\hat{\theta}