[论文解读] Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data

Gautam Kamath, Xingtu Liu+1 more|arXiv (Cornell University)|Jun 2, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用 13

一句话总结

本文提出了针对重尾数据的改进型差分隐私随机凸优化算法，其中梯度具有有界k阶矩而非Lipschitz连续。通过引入新颖的私有均值估计技术，在集中式差分隐私（concentrated differential privacy）下实现了更紧致的过剩风险界，相较于先前工作有显著改进，尤其在高维和非Lipschitz设置下表现突出。

ABSTRACT

We study stochastic convex optimization with heavy-tailed data under the constraint of differential privacy (DP). Most prior work on this problem is restricted to the case where the loss function is Lipschitz. Instead, as introduced by Wang, Xiao, Devadas, and Xu \cite{WangXDX20}, we study general convex loss functions with the assumption that the distribution of gradients has bounded $k$-th moments. We provide improved upper bounds on the excess population risk under concentrated DP for convex and strongly convex loss functions. Along the way, we derive new algorithms for private mean estimation of heavy-tailed distributions, under both pure and concentrated DP. Finally, we prove nearly-matching lower bounds for private stochastic convex optimization with strongly convex losses and mean estimation, showing new separations between pure and concentrated DP.

研究动机与目标

• 解决先前差分隐私随机凸优化（DP-SCO）方法对损失函数强Lipschitz假设的依赖问题。
• 在梯度具有有界k阶矩的条件下，开发高效的DP-SCO算法，实现对重尾数据的分析而无需启发式裁剪。
• 在集中式差分隐私（CDP）下，改进凸损失和强凸损失函数的过剩风险界。
• 建立近乎匹配的下界，揭示在均值估计和SCO背景下，纯差分隐私与集中式差分隐私之间的新分离特性。
• 设计适用于纯差分隐私和集中式差分隐私下重尾分布的新私有均值估计算法，作为主结果的核心原 primitive。

提出的方法

• 提出一种针对在集中式DP下具有有界k阶矩分布的新私有均值估计算法，结合噪声注入与鲁棒估计技术。
• 引入一种自适应处理重尾梯度的差分隐私随机梯度下降（DP-SGD）变体，通过基于矩的界控制敏感度。
• 利用覆盖论证和浓度不等式，约束在重尾梯度存在下的估计误差。
• 使用Azuma不等式控制迭代优化中由梯度噪声引入的偏差，针对鞅差分序列。
• 通过将误差分解为统计、近似和隐私诱导三部分，分别利用矩和浓度性质进行有界处理，推导过剩风险界。
• 通过参数q平衡非私有与私有成本，优化样本大小与隐私预算之间的权衡。

实验结果

研究问题

• RQ1 当损失函数非Lipschitz但梯度具有有界k阶矩时，能否在差分隐私随机凸优化中实现更优的过剩风险界？
• RQ2 针对重尾分布的私有均值估计算法如何提升高维设置下DP-SCO的实用性？
• RQ3 在集中式差分隐私下，私有均值估计与DP-SCO的根本极限是什么？与纯差分隐私有何不同？
• RQ4 当梯度为重尾时，能否在集中式DP下为强凸损失实现更紧致的过剩风险界？
• RQ5 在矩条件约束下，纯差分隐私与集中式差分隐私在均值估计与优化的实用性方面存在哪些新分离？

主要发现

• 在ε²-集中式差分隐私下，对于凸损失，本文实现了过剩风险界为Õ(min{d/√n + d²/(εn)·(εn/d³ᐟ²)¹ᐟᵏ, min_{0.5≤q≤2} (d^{(3−q)/2}/√n + d^{(1+q)/2}/(ε^{1/2}√n))})。
• 对于强凸损失，过剩风险被界为Õ(d/n + d·(√d/(εn))^{2(k−1)/k})，在矩假设下优于先前工作。
• 所提出的私有均值估计算法在纯差分隐私与集中式差分隐私下，对具有有界k阶矩的分布均实现了最优或近似最优的误差率。
• 作者证明了私有均值估计与强凸DP-SCO的近乎匹配下界，揭示了在实用性方面，纯差分隐私与集中式差分隐私之间存在严格分离。
• 结果表明，当梯度为重尾时，集中式DP在过剩风险率方面显著优于纯差分隐私，尤其在高维情形下。
• 分析表明，DP-SCO中的隐私-效用权衡关键取决于梯度的尾部行为，而不仅仅是其有界性。