[論文レビュー] Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps

Janardhan Kulkarni, Yin Tat Lee+1 more|arXiv (Cornell University)|Mar 29, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 6

ひとこと要約

本稿では、非滑らか関数に対する微分プライバシーを満たす最初の非滑らかEmpirical Risk Minimization (ERM) およびStochastic Convex Optimization (SCO) のアルゴリズムを提示する。サブサンプリング、Moreau-Yosida平滑化、およびモーメント会計師を用いた新しいプライバシー解析を組み合わせることで、$O(N^{3/2}/d^{1/8} + N^2/d)$ の勾配クエリで最適な超過経験リスクを達成し、プライベート凸最適化における未解決問題を解決する。

ABSTRACT

We study the differentially private Empirical Risk Minimization (ERM) and Stochastic Convex Optimization (SCO) problems for non-smooth convex functions. We get a (nearly) optimal bound on the excess empirical risk and excess population loss with subquadratic gradient complexity. More precisely, our differentially private algorithm requires $O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$ gradient queries for optimal excess empirical risk, which is achieved with the help of subsampling and smoothing the function via convolution. This is the first subquadratic algorithm for the non-smooth case when $d$ is super constant. As a direct application, using the iterative localization approach of Feldman et al. \cite{fkt20}, we achieve the optimal excess population loss for stochastic convex optimization problem, with $O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$ gradient queries. Our work makes progress towards resolving a question raised by Bassily et al. \cite{bfgt20}, giving first algorithms for private ERM and SCO with subquadratic steps. We note that independently Asi et al. \cite{afkt21} gave other algorithms for private ERM and SCO with subquadratic steps.

研究の動機と目的

• 非滑らか凸関数に対する微分プライバシーERMおよびSCOの間のギャップを埋め、サブクアドレティックな勾配複雑度を達成すること。
• Bassilyら（2020）が提起した未解決問題、すなわち、プライベートERMおよびSCOがサブクアドレティックステップで解けるかどうかを解明すること。
• 非滑らか凸関数に対して、ほぼ最適な超過経験リスクおよび母集団損失を達成する微分プライベートアルゴリズムを開発すること。
• 非滑らか設定におけるMoreau-Yosida平滑化の計算非効率性を克服することで、先行研究のプライベートSGDを拡張すること。

提案手法

• Moreau-YosidaエンVELOPEを用いて非滑らか凸関数を平滑化し、効率的なプライベート最適化を可能にする。
• サブサンプリングと勾配クリッピングを適用して、1回のクエリあたりのプライバシー予算の消費を低減する。
• 強い合成定理に代わって、よりタイトなプライバシー解析が可能なモーメント会計師技術を用いる。
• 適応的ステップサイズとノイズスケーリングを備えたプライベート加速確率的アルゴリズム（Private AC-SA）を設計する。
• 反復的ローカライゼーションを活用して、プライベートERMの結果を最適なSCO保証に変換する。
• サブサンプリングと平滑化を組み合わせることで、プライバシーや有効性を維持したまま勾配複雑度を低減する。

実験結果

リサーチクエスチョン

• RQ1 非滑らか凸関数に対する微分プライバシーERMは、サブクアドレティックな勾配複雑度で解けるか？
• RQ2 プライベート非滑らかERMにおいて、プライバシー、有効性、勾配複雑度の最適なトレードオフは何か？
• RQ3 Moreau-Yosida平滑化技術をプライベート設定で計算的に効率的に行えるか？
• RQ4 非滑らかSCOにおいて、サブクアドレティックステップで最適な超過母集団損失を達成するのは可能か？
• RQ5 サブサンプリングとプライバシー会計は、プライベート非滑らか最適化の効率をどのように向上させるか？

主な発見

• 提案されたアルゴリズムは、$O(N^{3/2}/d^{1/8} + N^2/d)$ の勾配クエリで、$O(GD(\frac{1}{\bar{N}} + \frac{\bar{d}\bar{\rho}}{\bar{N}^2\bar{\rho}}))$ の超過経験リスクを達成し、対数要因を除いて最適な境界と一致する。
• 強凸関数の場合、同じ勾配複雑度で、超過経験リスク $O\left(\frac{G^2}{\mu}(\frac{1}{N} + \frac{d\log(1/\delta)}{\varepsilon^2 N^2})\right)$ を達成する。
• SCOにおける最適な超過母集団損失は、$O(\min\{N^{5/4}d^{1/8}, \frac{N^{3/2}}{d^{1/8}}\})$ の勾配クエリで達成される。
• モーメント会計師の使用により、強い合成定理に比べてプライバシー損失の膨張が低減され、よりタイトな境界が得られる。
• 本手法は、$d$ が超定数である場合に、非滑らかプライベートERMおよびSCOで初めてサブクアドレティックな勾配複雑度を達成した。
• Bassily ら（2020）が提起した、非滑らか関数に対するサブクアドレティックなプライベート最適化の未解決問題を解決する。