[論文レビュー] Private Convex Optimization via Exponential Mechanism

Sivakanth Gopi, Yin Tat Lee+1 more|arXiv (Cornell University)|Mar 1, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

この論文は、$(\varepsilon,\delta)$-微分プライバシーの下で、最適な超過経験的および母集団リスクを達成する、正則化された指数的メカニズムを提案する。$\ell_2^2$ 正則化子を追加し、強対数凸分布からのサンプリングを行うことで、$\widetilde{O}(n\min(d,n))$ 個の関数クエリで効率的な最適化が可能となり、ほぼタイトな下界と一致する。

ABSTRACT

In this paper, we study private optimization problems for non-smooth convex functions $F(x)=\mathbb{E}_i f_i(x)$ on $\mathbb{R}^d$. We show that modifying the exponential mechanism by adding an $\ell_2^2$ regularizer to $F(x)$ and sampling from $π(x)\propto \exp(-k(F(x)+μ\|x\|_2^2/2))$ recovers both the known optimal empirical risk and population loss under $(ε,δ)$-DP. Furthermore, we show how to implement this mechanism using $\widetilde{O}(n \min(d, n))$ queries to $f_i(x)$ for the DP-SCO where $n$ is the number of samples/users and $d$ is the ambient dimension. We also give a (nearly) matching lower bound $\widetildeΩ(n \min(d, n))$ on the number of evaluation queries. Our results utilize the following tools that are of independent interest: (1) We prove Gaussian Differential Privacy (GDP) of the exponential mechanism if the loss function is strongly convex and the perturbation is Lipschitz. Our privacy bound is \emph{optimal} as it includes the privacy of Gaussian mechanism as a special case and is proved using the isoperimetric inequality for strongly log-concave measures. (2) We show how to sample from $\exp(-F(x)-μ\|x\|^2_2/2)$ for $G$-Lipschitz $F$ with $η$ error in total variation (TV) distance using $\widetilde{O}((G^2/μ) \log^2(d/η))$ unbiased queries to $F(x)$. This is the first sampler whose query complexity has \emph{polylogarithmic dependence} on both dimension $d$ and accuracy $η$.

研究の動機と目的

• 非滑らかな凸関数 $F(x) = \mathbb{E}_i f_i(x)$ に対して、$(\varepsilon,\delta)$-微分プライバシーの下で最適なユーティリティを達成する、差分プライバシー最適化フレームワークの構築を目的とする。
• 正則化されたバージョンを導入することで、プライベート凸最適化における指数的メカニズムとノイズ付き勾配降下法のクエリ複雑度のギャップを埋めることを目的とする。
• プライベート最適化に必要な関数クエリの数に対するタイトな上界および下界を確立し、ほぼ最適な効率性を達成することを目的とする。
• 次元 $d$ および精度 $\eta$ に対して多項式対数的依存性を有する新しいサンプリングアルゴリズムを開発し、正則化されたメカニズムの効率的実装を可能とすることを目的とする。

提案手法

• 方法は、指数的メカニズムに $\ell_2^2$ 正則化子を追加することで変更され、$\pi(x) \propto \exp(-k(F(x) + \mu\|x\|_2^2/2))$ からのサンプリングにより強い凸性と改善されたプライバシー保証が確保される。
• 強い凸性とリプシッツ連鎖の下で、ガウス的微分プライバシー（GDP）を、強対数凸測度の等周不等式を用いて証明する。
• $F(x)$ への不偏クエリを $\widetilde{O}((G^2/\mu)\log^2(d/\eta))$ 回用いて、全 Variation 距離で $\eta$-精度を達成する、新たなサンプリングアルゴリズムを導入する。このアルゴリズムは $d$ および $\eta$ に対して多項式対数的依存性を有する。
• フレームワークは、$(\varepsilon,0)$-DP の下で最適な超過経験的リスク $O(GDd/(n\varepsilon))$ を達成し、既知の下界と一致する。
• 関数評価回数に対するほぼタイトな下界 $\widetilde{\Omega}(n\min(d,n))$ が確立され、このメソッドが関数評価の観点からほぼ最適であることが示される。

実験結果

リサーチクエスチョン

• RQ1 指数的メカニズムは、非滑らかなプライベート凸最適化における最適なプライバシー・ユーティリティトレードオフを達成するために正則化可能か？
• RQ2 差分プライバシーの下で、正則化された指数的メカニズムからのサンプリングに必要な最適なクエリ複雑度は何か？
• RQ3 $G$-リプシッツ凸関数に対して、次元 $d$ および精度 $\eta$ に対して多項式対数的クエリ複雑度を有するサンプリングアルゴリズムを設計可能か？
• RQ4 正則化された指数的メカニズムは、$(\varepsilon,\delta)$-DP の下で、経験的および母集団リスクの両方を最適に達成できるか？
• RQ5 プライベート凸最適化に必要な関数クエリの数に対する情報理論的下界は何か？

主な発見

• 正則化された指数的メカニズムは、$(\varepsilon,0)$-DP の下で最適な超過経験的リスク $O(GDd/(n\varepsilon))$ を達成し、既存の最良の上界と一致する。
• $(\varepsilon,\delta)$-DP の下では、超過母集団リスク $O(GD\sqrt{d\log(1/\delta)}/(n\varepsilon))$ を達成し、これは最適であり、ノイズ付き勾配降下法の性能と一致する。
• 提案されたサンプリングアルゴリズムは、$\widetilde{O}((G^2/\mu)\log^2(d/\eta))$ 回のクエリで全 Variation 距離で $\eta$-精度を達成し、$d$ および $\eta$ に対して多項式対数的依存性を有する。これは従来の手法に比べて顕著な改善である。
• このメソッドのクエリ複雑度は $\widetilde{O}(n\min(d,n))$ であり、関数評価回数に対するほぼタイトな下界 $\widetilde{\Omega}(n\min(d,n))$ と一致する。
• ほぼ一致する下界 $\widetilde{\Omega}(n\min(d,n))$ が確立され、このメソッドのクエリ複雑度の観点での効率性がほぼ最適であることが示された。