[论文解读] Differentially Private Non-convex Distributionally Robust Optimization

Difei Xu, Meng Ding+5 more|arXiv (Cornell University)|Feb 18, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

该论文研究带 psi-散度的非凸分布式鲁棒优化中的差分隐私，提出 DP Double-Spider 与 DP Recursive-Spider 方法，并证明效用保证。

ABSTRACT

Real-world deployments routinely face distribution shifts, group imbalances, and adversarial perturbations, under which the traditional Empirical Risk Minimization (ERM) framework can degrade severely. Distributionally Robust Optimization (DRO) addresses this issue by optimizing the worst-case expected loss over an uncertainty set of distributions, offering a principled approach to robustness. Meanwhile, as training data in DRO always involves sensitive information, safeguarding it against leakage under Differential Privacy (DP) is essential. In contrast to classical DP-ERM, DP-DRO has received much less attention due to its minimax optimization structure with uncertainty constraint. To bridge the gap, we provide a comprehensive study of DP-(finite-sum)-DRO with $ψ$-divergence and non-convex loss. First, we study DRO with general $ψ$-divergence by reformulating it as a minimization problem, and develop a novel $(\varepsilon, δ)$-DP optimization method, called DP Double-Spider, tailored to this structure. Under mild assumptions, we show that it achieves a utility bound of $\mathcal{O}(\frac{1}{\sqrt{n}}+ (\frac{\sqrt{d \log (1/δ)}}{n \varepsilon})^{2/3})$ in terms of the gradient norm, where $n$ denotes the data size and $d$ denotes the model dimension. We further improve the utility rate for specific divergences. In particular, for DP-DRO with KL-divergence, by transforming the problem into a compositional finite-sum optimization problem, we develop a DP Recursive-Spider method and show that it achieves a utility bound of $\mathcal{O}((\frac{\sqrt{d \log(1/δ)}}{n\varepsilon})^{2/3} )$, matching the best-known result for non-convex DP-ERM. Experimentally, we demonstrate that our proposed methods outperform existing approaches for DP minimax optimization.

研究动机与目标

• 在分布偏移、不平衡和对抗扰动下进行鲁棒学习的动机，同时保护隐私。
• 通过原-对偶等价性将带 psi-散度的 DP-DRO 重新表述为一个可处理的优化问题。
• 开发在 DP 保证下实现良好效用的私有优化算法。
• 专门化到 KL-散度以获得与 DP-ERM 结果相匹配的改进效用率。
• 在对隐私预算有多种设置的、不平衡数据集上对所提方法进行实证验证。

提出的方法

• 将带 psi-散度的 DP-DRO 表述为带约束的极小极大问题，并推导出一个原-对偶表述，进而得到对模型参数的无约束最小化与对偶变量的优化问题。
• 引入 DP Double-SPIDER，这是一种方差降低、保护隐私的算法，分别用高斯噪声更新原始变量和对偶变量以实现 DP。
• 为 KL-散度提供一个专门化的 DP Recursive-Spider，将问题重新表述为成分式有限和优化，并采用递归 SPIDER 风格的估计器。
• 证明 DP 保证和基于梯度范数的效用界在一般 psi-散度下为 O(1/√n) + O((√(d log(1/delta))/(n epsilon))^{2/3})，在 KL-散度下为 O((√(d log(1/delta))/(n epsilon))^{2/3})。
• 在 CIFAR10、MNIST、CelebA、Fashion-MNIST 的不平衡版本上实现并比较这几种方法，在多种隐私预算下与基线方法的比较。

Figure 1: Experimental Results: The performances of four algorithms on CIFAR10-ST, CelebA, Fashion-MNIST, MNIST-ST respectively

实验结果

研究问题

• RQ1 如何在一般 psi-散度下高效求解带非凸损失的 DP-DRO？
• RQ2 原-对偶重构是否能为 DP-DRO 提供有效的私有优化？
• RQ3 基于梯度范数的私有 SPIDER 相关方法在 DP-DRO 中能达到哪些效用保证？
• RQ4 专门化到 KL-散度是否能实现与 DP-ERM 相比的更优效用率？
• RQ5 在不平衡数据集上，在不同隐私预算下，提出的方法是否优于现有的 DP 极小极大基线？

主要发现

• 在一般 psi-散度下，DP Double-SPIDER 的梯度范数效用界为 O(1/√n) + (√(d log(1/delta))/(n epsilon))^{2/3}。
• KL-散度的 DP Recursive-Spider 实现了更精炼的界，为 O((√(d log(1/delta))/(n epsilon))^{2/3})，与非凸损失的最佳已知 DP-ERM 速率相匹配。
• 所提方法提供 DP 保证，在实验中相对于 DP-SGDA 基线显示出更好的稳定性和较低的梯度方差。
• 在 CIFAR10-ST、CelebA、Fashion-MNIST（以及 MNIST-ST）上的实验结果表明，在各隐私预算下测试准确率相对基线有持续改善。
• 成员信息推断攻击结果表明，在所有测试预算下，DP Recursive-SPIDER 相比 DP Double-SPIDER 提供更强的隐私鲁棒性。

Figure 2: Test AUC Results: The performances of four algorithms on CIFAR10-ST, CelebA, Fashion-MNIST, MNIST-ST respectively