[论文解读] High Dimensional Differentially Private Stochastic Optimization with Heavy-tailed Data

Lijie Hu, Shuo Ni+2 more|arXiv (Cornell University)|Jul 23, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文首次系统研究了高维空间中重尾数据下的差分隐私随机凸优化（DP-SCO）。提出截断式DP-IHT及其他方法，在数据分布满足温和矩条件时，实现了$ ilde{O}(\frac{\log d}{(n\epsilon)^{1/3}})$的过剩风险界（$ϵ$-DP下）以及$ ilde{O}(\frac{s^{*2}\log^2 d}{n\epsilon})$的稀疏学习过剩风险界。

ABSTRACT

As one of the most fundamental problems in machine learning, statistics and differential privacy, Differentially Private Stochastic Convex Optimization (DP-SCO) has been extensively studied in recent years. However, most of the previous work can only handle either regular data distribution or irregular data in the low dimensional space case. To better understand the challenges arising from irregular data distribution, in this paper we provide the first study on the problem of DP-SCO with heavy-tailed data in the high dimensional space. In the first part we focus on the problem over some polytope constraint (such as the $\ell_1$-norm ball). We show that if the loss function is smooth and its gradient has bounded second order moment, it is possible to get a (high probability) error bound (excess population risk) of $ ilde{O}(\frac{\log d}{(nε)^\frac{1}{3}})$ in the $ε$-DP model, where $n$ is the sample size and $d$ is the dimensionality of the underlying space. Next, for LASSO, if the data distribution that has bounded fourth-order moments, we improve the bound to $ ilde{O}(\frac{\log d}{(nε)^\frac{2}{5}})$ in the $(ε, δ)$-DP model. In the second part of the paper, we study sparse learning with heavy-tailed data. We first revisit the sparse linear model and propose a truncated DP-IHT method whose output could achieve an error of $ ilde{O}(\frac{s^{*2}\log d}{nε})$, where $s^*$ is the sparsity of the underlying parameter. Then we study a more general problem over the sparsity ({\em i.e.,} $\ell_0$-norm) constraint, and show that it is possible to achieve an error of $ ilde{O}(\frac{s^{*\frac{3}{2}}\log d}{nε})$, which is also near optimal up to a factor of $ ilde{O}{(\sqrt{s^*})}$, if the loss function is smooth and strongly convex.

研究动机与目标

• 解决在高维设置下，当数据分布为重尾时，差分隐私随机凸优化（DP-SCO）缺乏理论理解的问题。
• 设计能够处理由重尾数据引发的无界梯度的私有且鲁棒的优化方法，这些梯度违反了标准的Lipschitz假设。
• 在仅依赖矩条件（如二阶或四阶矩有界）而非次高斯或有界性假设的前提下，建立在多面体约束和稀疏性约束下DP-SCO的过剩种群风险界。
• 设计一种截断式DP-迭代硬阈值（DP-IHT）方法，确保在稀疏高维设置下的隐私性与收敛性。

提出的方法

• 提出一种截断式DP-IHT算法，通过在迭代硬阈值中引入梯度截断，以管理重尾梯度并确保差分隐私。
• 利用梯度截断来限制梯度的敏感性，从而在仅假设二阶矩有界的情况下使用拉普拉斯机制实现隐私保护。
• 结合强凸性、光滑性与矩条件，提出一种新颖的分析框架，推导出高概率的过剩风险界。
• 提出一种新的困难实例构造方法，证明所推导边界的近最优性，仅在对数因子和$\sqrt{s^*}$因子范围内。
• 采用两阶段分析：首先利用强凸性与光滑性推导每轮迭代的误差界；其次通过迭代过程中的几何衰减性质控制总误差。
• 利用大数定律与拉普拉斯噪声的尾部界，控制私有噪声对收敛性的影响，尤其在高维与稀疏设置下。

实验结果

研究问题

• RQ1 在高维空间中，当数据为重尾时，差分隐私随机凸优化的根本统计极限是什么？
• RQ2 我们能否设计对重尾数据分布引起的无界梯度具有鲁棒性的私有优化算法？
• RQ3 在多面体与稀疏性约束下，对于重尾数据的DP-SCO，在$ϵ$-DP与$(\epsilon,\delta)$-DP下可实现的过剩风险界是什么？
• RQ4 真实参数的稀疏性（$s^*$）如何影响高维DP-SCO中的收敛速度与隐私-效用权衡？

主要发现

• 在多面体约束下，当梯度满足光滑性与二阶矩有界时，$ϵ$-DP模型中过剩风险以高概率为$;(O)(\frac{\log d}{(n\epsilon)^{1/3}})$。
• 对于具有四阶矩有界的LASSO问题，$(\epsilon,\delta)$-DP模型中过剩风险提升至$;(O)(\frac{\log d}{(n\epsilon)^{2/5}})$。
• 对于稀疏线性回归，所提出的截断式DP-IHT方法在$(\epsilon,\delta)$-DP下实现了$;(O)(\frac{s^{*2}\log^2 d}{n\epsilon})$的过剩风险。
• 对于满足$\ell_0$-范数稀疏性约束的一般光滑且强凸的DP-SCO，过剩风险为$;(O)(\frac{s^{*3/2}\log d}{n\epsilon})$，仅在$;(O)(\sqrt{s^*})$因子内近似最优。
• 通过在合成数据与真实世界数据集上的实验，验证了理论边界的性能，结果在重尾数据下表现一致。
• 论文证明了基于矩的假设（如二阶或四阶矩有界）足以支持重尾数据的私有学习，避免了对次高斯性或有界性的严格假设。