[論文レビュー] Private Empirical Risk Minimization Beyond the Worst Case: The Effect of the Constraint Set Geometry

Kunal Talwar, Abhradeep Thakurta+1 more|arXiv (Cornell University)|Nov 20, 2014

Privacy-Preserving Technologies in Data参考文献 26被引用数 31

ひとこと要約

本稿は、制約集合の幾何構造を活用することで、著しく改善された誤差バインディングを達成する、微分プライベートな経験的リスク最小化（ERM）フレームワークを導入する。プライベート版ミラー勾配降下を用いることで、過剰リスクが次元 $p$ ではなくガウス幅 $G_{\mathcal{C}}$ に比例することを示しており、リプシッツ損失関数では $\tilde{O}(G_{\mathcal{C}}/n)$ のバインディングが得られ、$\ell_1$-有界な制約では $\tilde{O}(n^{-2/3})$ のバインディングが得られ、それらは近似的に最適性を示す一致する下界によって裏付けられる。

ABSTRACT

Empirical Risk Minimization (ERM) is a standard technique in machine learning, where a model is selected by minimizing a loss function over constraint set. When the training dataset consists of private information, it is natural to use a differentially private ERM algorithm, and this problem has been the subject of a long line of work started with Chaudhuri and Monteleoni 2008. A private ERM algorithm outputs an approximate minimizer of the loss function and its error can be measured as the difference from the optimal value of the loss function. When the constraint set is arbitrary, the required error bounds are fairly well understood \cite{BassilyST14}. In this work, we show that the geometric properties of the constraint set can be used to derive significantly better results. Specifically, we show that a differentially private version of Mirror Descent leads to error bounds of the form $ ilde{O}(G_{\mathcal{C}}/n)$ for a lipschitz loss function, improving on the $ ilde{O}(\sqrt{p}/n)$ bounds in Bassily, Smith and Thakurta 2014. Here $p$ is the dimensionality of the problem, $n$ is the number of data points in the training set, and $G_{\mathcal{C}}$ denotes the Gaussian width of the constraint set that we optimize over. We show similar improvements for strongly convex functions, and for smooth functions. In addition, we show that when the loss function is Lipschitz with respect to the $\ell_1$ norm and $\mathcal{C}$ is $\ell_1$-bounded, a differentially private version of the Frank-Wolfe algorithm gives error bounds of the form $ ilde{O}(n^{-2/3})$. This captures the important and common case of sparse linear regression (LASSO), when the data $x_i$ satisfies $|x_i|_{\infty} \leq 1$ and we optimize over the $\ell_1$ ball. We show new lower bounds for this setting, that together with known bounds, imply that all our upper bounds are tight.

研究の動機と目的

• 制約集合の幾何的性質を活用することで、最悪の次元性に依存せず、微分プライベート ERM の過剰リスクバインディングを改善すること。
• 制約集合 $\mathcal{C}$ のガウス幅 $G_{\mathcal{C}}$ が、次元 $p$ よりもプライバシーと効用のトレードオフをより洗練された指標として特徴づけること。
• リプシッツ損失関数に対して $\tilde{O}(G_{\mathcal{C}}/n)$ の過剰リスクを達成するプライベート ミラー勾配降下アルゴリズムを開発すること。
• 強凸的かつ滑らかな損失関数のケースに分析を拡張し、同様の改善を示すこと。
• $\ell_1$-有界な制約に対してプライベート フランク＝ウォルフアルゴリズムを用い、$\tilde{O}(n^{-2/3})$ の誤差と一致する下界を示すこと。

提案手法

• 制約集合 $\mathcal{C}$ の幾何構造を、そのガウス幅 $G_{\mathcal{C}}$ を通じて組み込む、微分プライベート版ミラー勾配降下を提案する。
• 過剰リスクをバインドするための主要パラメータとして、$G_{\mathcal{C}} = \mathbb{E}_{g \sim \mathcal{N}(0,1)^p}[\sup_{\theta \in \mathcal{C}} \langle \theta, g \rangle]$ を用いる。
• リプシッツ損失関数に対して、$\tilde{O}(G_{\mathcal{C}}/n)$ の過剰リスクバインディングを確立し、従来の $\tilde{O}(\sqrt{p}/n)$ のバインディングを改善する。
• $\ell_1$-有界な制約集合と $\ell_1$-リプシッツ損失関数のケースを、プライベート フランク＝ウォルフアルゴリズムを用いて分析し、$\tilde{O}(n^{-2/3})$ の誤差を達成する。
• $\ell_1$-有界なケースに対して、$\Omega(n^{-2/3}/\log^{2/3}n)$ の一致する下界を証明し、アルゴリズムがほぼ最適であることを示す。
• 下界を証明するために、共通の柱（consensus columns）と直交ベクトルを用いたハードインスタンスを構築し、符号の一致と集中の議論に依拠する。

実験結果

リサーチクエスチョン

• RQ1 制約集合 $\mathcal{C}$ の幾何的構造を活用することで、最悪の次元性を超えてプライベート ERM の過剰リスクバインディングを改善できるか？
• RQ2 ガウス幅 $G_{\mathcal{C}}$ は、環境次元 $p$ よりもプライバシーと効用のトレードオフをよりタイトに特徴づけるか？
• RQ3 プライベート ミラー勾配降下は、リプシッツ損失関数に対して $\tilde{O}(G_{\mathcal{C}}/n)$ の過剰リスクを達成できるか？
• RQ4 損失関数が $\ell_1$-リプシッツで、制約集合が $\ell_1$-有界である場合、プライベート ERM の最適過剰リスクは何か？
• RQ5 $\ell_1$-有界なケースにおける $\tilde{O}(n^{-2/3})$ の誤差バインディングは、対数要因を除いてタイトか？

主な発見

• リプシッツ損失関数に対して、プライベート ERM の過剰リスクは $\tilde{O}(G_{\mathcal{C}}/n)$ でバインドされ、ここで $G_{\mathcal{C}}$ は制約集合のガウス幅であり、従来の $\tilde{O}(\sqrt{p}/n)$ のバインディングを著しく改善する。
• 強凸的かつ滑らかな損失関数の場合、プライベート ミラー勾配降下フレームワークを $\mathcal{C}$ の幾何構造に適応させることで、同様の過剰リスクの改善が達成される。
• 損失関数が $\ell_1$-リプシッツで、制約集合 $\mathcal{C}$ が $\ell_1$-有界である場合、プライベート フランク＝ウォルフアルゴリズムにより、過剰リスク $\tilde{O}(n^{-2/3})$ が達成される。
• $\ell_1$-有界なケースに対して、$\Omega(n^{-2/3}/\log^{2/3}n)$ の一致する下界が証明され、プライベート フランク＝ウォルフアルゴリズムがほぼ最適であることが示される。
• 分析により、$\mathcal{C}$ の幾何的性質（例：スパarsity や低ガウス幅）を活用することで、次元に基づくバインディングよりも優れたプライバシーと効用のトレードオフを達成できることを示す。
• 共通の柱と直交ベクトルを用いたハードインスタンスの構築により、結果が検証され、符号の一致と集中の議論によって下界のタイトさが確立される。