[論文レビュー] Differentially Private Non-convex Distributionally Robust Optimization

Difei Xu, Meng Ding+5 more|arXiv (Cornell University)|Feb 18, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は psi-ダイバージェンスを用いた非凸分布適応したディPFプライバシーを研究し、DP Double-Spider と DP Recursive-Spider メソッドを導入し、ユーティリティ保証を証明する。

ABSTRACT

Real-world deployments routinely face distribution shifts, group imbalances, and adversarial perturbations, under which the traditional Empirical Risk Minimization (ERM) framework can degrade severely. Distributionally Robust Optimization (DRO) addresses this issue by optimizing the worst-case expected loss over an uncertainty set of distributions, offering a principled approach to robustness. Meanwhile, as training data in DRO always involves sensitive information, safeguarding it against leakage under Differential Privacy (DP) is essential. In contrast to classical DP-ERM, DP-DRO has received much less attention due to its minimax optimization structure with uncertainty constraint. To bridge the gap, we provide a comprehensive study of DP-(finite-sum)-DRO with $ψ$-divergence and non-convex loss. First, we study DRO with general $ψ$-divergence by reformulating it as a minimization problem, and develop a novel $(\varepsilon, δ)$-DP optimization method, called DP Double-Spider, tailored to this structure. Under mild assumptions, we show that it achieves a utility bound of $\mathcal{O}(\frac{1}{\sqrt{n}}+ (\frac{\sqrt{d \log (1/δ)}}{n \varepsilon})^{2/3})$ in terms of the gradient norm, where $n$ denotes the data size and $d$ denotes the model dimension. We further improve the utility rate for specific divergences. In particular, for DP-DRO with KL-divergence, by transforming the problem into a compositional finite-sum optimization problem, we develop a DP Recursive-Spider method and show that it achieves a utility bound of $\mathcal{O}((\frac{\sqrt{d \log(1/δ)}}{n\varepsilon})^{2/3} )$, matching the best-known result for non-convex DP-ERM. Experimentally, we demonstrate that our proposed methods outperform existing approaches for DP minimax optimization.

研究の動機と目的

• Distribution shifts、不均衡、敵対的摂動に対するロバスト学習をプライバシー保護と両立させることを動機付ける。
• psi-ダイバージェンスを用いた DP-DRO を primal–dual 同値性により現実的な最適化問題として再定式化する。
• DP 保証の下で有用性を有利に得るプライベート最適化アルゴリズムを開発する。
• KL-ダイバージェンスへ特化して DP-ERM の結果に一致する改善された有用性レートを得る。
• 様々なプライバシ予算下の不均衡データセットで提案手法を実証的に検証する。

提案手法

• psi-ダイバージェンスを用いた DP-DRO を制約付きミニマックス問題として定式化し、 primal–dual 表現を導出してモデルパラメータと双対変数の無制約最小化へ還元する。
• DP Double-SPIDER を導入し、プライバシー保護を維持しつつ、 primal と dual の変数を別々に更新しガウスノイズを添加する分散削減アルゴリズム。
• KL-ダイバージェンス用に特化した DP Recursive-Spider を提案し、問題を組成的な有限和最適化として再構築し SPIDER に類似した再帰推定量を用いる。
• 一般の psi-ダイバージェンスに対して勾配ノルムベースの有用性境界を O(1/√n) + O((√(d log(1/delta))/(n ε))^{2/3})、KL-ダイバージェンスに対しては O((√(d log(1/delta))/(n ε))^{2/3}) の DP 保証を証明する。
• CIFAR10, MNIST, CelebA, Fashion-MNIST の不均衡版で各々のプライバシー予算を用いて実装・比較を行う。

Figure 1: Experimental Results: The performances of four algorithms on CIFAR10-ST, CelebA, Fashion-MNIST, MNIST-ST respectively

実験結果

リサーチクエスチョン

• RQ1 一般的な psi-ダイバージェンスで非凸損失に対して DP-DRO を効率的に解く方法は？
• RQ2 primal–dual 再表現は private optimization を DP-DRO に対して有効にできるか？
• RQ3 private SPIDER ベースの手法による DP-DRO における勾配ノルムの有用性保証はどれくらいか？
• RQ4 KL-ダイバージェンスへ特化することで DP-ERM に匹敵する改善された有用性レートが得られるか？
• RQ5 提案手法は様々なプライバシー予算下で既存の DP ミニマックス系ベースラインを不均衡データに対して上回るか？

主な発見

• DP Double-SPIDER は general psi-ダイバージェンスの下で勾配ノルム有用性境界を O(1/√n) + (√(d log(1/delta))/(n ε))^{2/3} で達成する。
• KL-ダイバージェンスに対する DP Recursive-Spider は境界を O((√(d log(1/delta))/(n ε))^{2/3}) に洗練させ、非凸損失に対する DP-ERM の最良レートに一致する。
• 提案手法は DP 保証を提供し、DP-SGDA ベースラインと比較して実験で安定性と勾配分散を改善する。
• CIFAR10-ST、CelebA、Fashion-MNIST（および MNIST-ST）での実証結果は、複数のプライバシー予算下で Baseline よりテスト精度が一貫して改善されることを示す。
• メンバーシップ推定攻撃の結果は、DP Recursive-SPIDER が DP Double-SPIDER よりすべての検証予算で強いプライバシー堅牢性を示す。

Figure 2: Test AUC Results: The performances of four algorithms on CIFAR10-ST, CelebA, Fashion-MNIST, MNIST-ST respectively