[論文レビュー] Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry

Hilal Asi, Vitaly Feldman+2 more|arXiv (Cornell University)|Mar 2, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用数 5

ひとこと要約

本稿は、$\sigma_1$-有界ドメイン上の微分プライバシー付き確率的凸最適化における、最適な超過集団損失率を確立し、プライベート正則化ミラー降下に基づく新規の反復局所化アルゴリズムを導入することで、$\widetilde{O}(\sqrt{\log d/n} + \sqrt{d}/(\varepsilon n))$ の誤差を達成する。滑らかな関数に対しては、$O(n)$ 勾配クエリを用い、$\widetilde{O}(\sqrt{\log d/n} + (\log d/(ε n))^{2/3})$ の誤差を達成する分散低減型フランク＝ウォルフアルゴリズムを構築し、$d \gg n$ かつ $\varepsilon \geq n^{-1/4}$ の場合に、プライバシーのコストがほとんどないことが示され、この設定ではプライバシーがほぼ無料である。これらの結果により、$\ell_1$ 設定におけるプライベート最適化の理解における長年のギャップが埋められた。

ABSTRACT

Stochastic convex optimization over an $\ell_1$-bounded domain is ubiquitous in machine learning applications such as LASSO but remains poorly understood when learning with differential privacy. We show that, up to logarithmic factors the optimal excess population loss of any $(\varepsilon,δ)$-differentially private optimizer is $\sqrt{\log(d)/n} + \sqrt{d}/\varepsilon n.$ The upper bound is based on a new algorithm that combines the iterative localization approach of~\citet{FeldmanKoTa20} with a new analysis of private regularized mirror descent. It applies to $\ell_p$ bounded domains for $p\in [1,2]$ and queries at most $n^{3/2}$ gradients improving over the best previously known algorithm for the $\ell_2$ case which needs $n^2$ gradients. Further, we show that when the loss functions satisfy additional smoothness assumptions, the excess loss is upper bounded (up to logarithmic factors) by $\sqrt{\log(d)/n} + (\log(d)/\varepsilon n)^{2/3}.$ This bound is achieved by a new variance-reduced version of the Frank-Wolfe algorithm that requires just a single pass over the data. We also show that the lower bound in this case is the minimum of the two rates mentioned above.

研究の動機と目的

• これまでの研究で部分的に最適でないレートが得られていた、$\ell_1$-有界ドメイン上の微分プライバシー付き確率的凸最適化（DP-SCO）の理解におけるギャップを埋めること。
• $\ell_1$-幾何における最適な超過集団損失を達成するプライベートアルゴリズムの開発、特に非滑らかおよび滑らかな凸関数に対して。
• 非滑らかな関数に対しては勾配クエリ数を $O(n^2)$ から $O(n^{3/2})$ に、滑らかな関数に対しては $O(n)$ に削減することで、計算効率の向上。
• 上界と一致するタイトな下界を確立し、提案アルゴリズムの最適性を証明すること。

提案手法

• ノイズ付き正則化ミラー降下と、$\ell_1$-幾何に特化した新しい解析を組み合わせた、新規の反復局所化アルゴリズムを提案。
• 滑らかさの仮定下で、線形時間 $O(n)$ と最適レートを達成する分散低減型プライベートフランク＝ウォルフアルゴリズムを導入。
• $\ell_p$-有界ドメイン（$p \in [1,2]$）に対しても反復局所化フレームワークを適用し、$\ell_1$ を超える一般化を実現。
• 超過経験損失の下界を、超過集団損失の下界に変換するためのポストプロセッシングの議論を用いる。
• $\ell_1$ 空間における平均推定問題から、集団損失の下界を導出するためのブートストラップ技術を採用。
• 集中法と感度バインディングを用いて、プライバシー（$\varepsilon, \delta$）、次元 $d$、標本サイズ $n$ の間のトレードオフを分析。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー付き確率的凸最適化における、$\ell_1$-有界ドメイン上での最適な超過集団損失率は何か？
• RQ2 損失関数が滑らかである場合、$\ell_1$ 幾何において、非プライベート最適レートに一致するプライベート最適化が可能か？
• RQ3 $\ell_1$-幾何において、滑らかな関数に対して $O(n)$ 勾配クエリを用いるプライベートアルゴリズムを設計可能か？ これは、従来の $O(n^2)$ 法より改善される。
• RQ4 $\ell_1$ 幾何における微分プライバシー下での、超過集団損失の最もタイトな下界は何か？
• RQ5 制約集合の幾何（例：$\ell_1$ 対 $\ell_2$）は、プライバシー、精度、計算コストのトレードオフにどのように影響するか？

主な発見

• 非滑らかな関数に対する、$\ell_1$-有界ドメイン上での最適な超過集団損失は $\widetilde{O}(\sqrt{\log d/n} + \sqrt{d}/(\varepsilon n))$ であり、対数要因を除いて下界と一致する。
• 滑らかな関数に対しては、最適な超過損失は $\widetilde{O}(\sqrt{\log d/n} + (\log d/(ε n))^{2/3})$ であり、これは新規の分散低減型フランク＝ウォルフアルゴリズムによって達成される。
• 提案されたフランク＝ウォルフアルゴリズムは線形時間（$O(n)$）で実行され、勾配クエリもわずか $O(n)$ 回に留まる。これは、従来の $O(n^2)$ 法に比べて顕著な改善である。
• 下界と上界が一致する：非滑らかな関数に対しては $\Omega(\sqrt{d}/(n\varepsilon))$、滑らかな関数に対しては $\Omega((\log d/(n\varepsilon))^{2/3})$ であり、アルゴリズムの最適性が証明される。
• 結果は $p \in [1,2]$ の $\ell_p$-有界ドメインに対しても拡張可能であり、$\ell_1$ 幾何が、これまで知られていたよりも優れたレートを可能にすることが示された。
• 高次元的状況（$d \gg n$ かつ $\varepsilon \geq n^{-1/4}$）では、プライバシーが超過損失にほとんど影響を及ぼさず、プライベート最適化が非プライベート最適化とほぼ同等の効率を達成できることを示した。