[論文レビュー] Differentially Private Stochastic Optimization: New Results in Convex and Non-Convex Settings

Raef Bassily, Cristóbal Guzmán+1 more|University of Twente Research Information|Jul 12, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用数 6

ひとこと要約

本稿では、凸および非凸設定における新しい微分プライバシー付き確率的最適化アルゴリズムを提示し、ほぼ線形時間計算量と改善された過剰リスクバウンドを達成する。$\varepsilon$-微分プライバシー付き$\varepsilon$-停留点の$\ell_1$-ノルムにおける滑らかな損失関数に対して、初めてのほぼ次元に依存しない収束レートを導入し、$\ell_2$-ノルム制約下での非滑らかな弱凸最適化に対しては、初めての線形時間アルゴリズムを提供する。

ABSTRACT

We study differentially private stochastic optimization in convex and non-convex settings. For the convex case, we focus on the family of non-smooth generalized linear losses (GLLs). Our algorithm for the $\ell_2$ setting achieves optimal excess population risk in near-linear time, while the best known differentially private algorithms for general convex losses run in super-linear time. Our algorithm for the $\ell_1$ setting has nearly-optimal excess population risk $ ilde{O}\big(\sqrt{\frac{\log{d}}{n\varepsilon}}\big)$, and circumvents the dimension dependent lower bound of \cite{Asi:2021} for general non-smooth convex losses. In the differentially private non-convex setting, we provide several new algorithms for approximating stationary points of the population risk. For the $\ell_1$-case with smooth losses and polyhedral constraint, we provide the first nearly dimension independent rate, $ ilde O\big(\frac{\log^{2/3}{d}}{(n\varepsilon)^{1/3}}\big)$ in linear time. For the constrained $\ell_2$-case with smooth losses, we obtain a linear-time algorithm with rate $ ilde O\big(\frac{1}{n^{1/3}}+\frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big)$. Finally, for the $\ell_2$-case we provide the first method for {\em non-smooth weakly convex} stochastic optimization with rate $ ilde O\big(\frac{1}{n^{1/4}}+\frac{d^{1/6}}{(n\varepsilon)^{1/3}}\big)$ which matches the best existing non-private algorithm when $d= O(\sqrt{n})$. We also extend all our results above for the non-convex $\ell_2$ setting to the $\ell_p$ setting, where $1 < p \leq 2$, with only polylogarithmic (in the dimension) overhead in the rates.

研究の動機と目的

• 非滑らかな確率的凸最適化のための線形時間微分プライバシー付きアルゴリズムの不足を解消すること。
• 非滑らかな$\ell_1$-ノルム設定における次元依存の下界を打ち破り、ほぼ次元に依存しない過剰リスクを達成すること。
• 滑らかでない非凸最適化における微分プライバシー付き線形時間アルゴリズムを初めて開発すること。
• $1 \leq p \leq 2$ の一般化された$\ell_p$-ノルム設定に結果を拡張し、次元に多対数的オーバーヘッドのみを伴うこと。
• 経験的リスク最小化手法の制限を避けるために、非凸設定における集団レベルの保証を提供すること。

提案手法

• プライバシーと収束を保証するための、適応的正則化と反復的精緻化を備えた新しい微分プライバシー付きプロキシマル勾配法を提案する。
• 強い凸性とプロキシマルマッピング技術を用いて、集団リスクにおけるほぼ停留点までの距離を制限する。
• プライバシー予算と収束速度のバランスを取るために、慎重に設計された正則化パラメータとステップサイズの系列を導入する。
• 勾配の感度に比例するノイズスケーリングを伴うガウスメカニズムを適用し、$(\varepsilon,\delta)$-微分プライバシーを保証する。
• $p \approx 1$ における$\ell_p$-ノルムの等価性を活用し、$\ell_1$ から $\ell_p$ への結果の拡張を、次元に多対数的オーバーヘッドで行う。
• 複数の反復にわたる再帰的平均化スキームを用いて、停留点までの期待距離を改善する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかな凸一般線形損失関数の$\ell_2$-ノルム設定において、ほぼ線形時間の微分プライバシー付き確率的最適化を達成できるか？
• RQ2 非滑らかな$\ell_1$-ノルムDP-SCOにおいて、次元依存の下界を回避しつつ、最適な過剰リスクを維持できるか？
• RQ3 $\ell_1$-ノルム制約下での滑らかな非凸最適化における、最適なレートは何か？
• RQ4 $\ell_2$-ノルム制約下での非滑らかな弱凸損失関数に対して、微分プライバシー付き非凸最適化の線形時間アルゴリズムを設計できるか？
• RQ5 $1 < p \leq 2$ の$\ell_p$-ノルム設定において、$\ell_2$-ノルムの場合と比較して、レートはどのようにスケーリングされるか？

主な発見

• 非滑らかな一般線形損失関数の$\ell_2$-ノルム設定では、ほぼ線形時間で最適な過剰集団リスク $O\big{(}\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\varepsilon}\big{)}$ を達成する。
• $\ell_1$-ノルム設定では、ほぼ次元に依存しない過剰リスク $\tilde{O}\big{(}\sqrt{\frac{\log d}{n\varepsilon}}\big{)}$ を達成し、先行研究の $\Omega(\sqrt{d})$ の下界を回避する。
• 滑らかな非凸損失関数の$\ell_1$-ノルム制約下では、線形時間でレート $\tilde{O}\big{(}\frac{\log^{2/3} d}{(n\varepsilon)^{1/3}}\big{)}$ を達成する。
• 滑らかな非凸損失関数の$\ell_2$-ノルム制約下では、線形時間でレート $\tilde{O}\big{(}\frac{1}{n^{1/3}} + \frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big{)}$ を達成する。
• 非滑らかな弱凸損失関数の$\ell_2$-ノルム設定では、レート $\tilde{O}\big{(}\frac{1}{n^{1/4}} + \frac{d^{1/6}}{(n\varepsilon)^{1/3}}\big{)}$ を達成し、$d = O(\sqrt{n})$ のとき非プライベートのミニマックスレートと一致する。
• $\ell_2$-ノルムのすべての結果は、$1 < p \leq 2$ の$\ell_p$-ノルムへ、次元$d$に多対数的オーバーヘッドのみを伴って拡張可能である。