[論文レビュー] Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent

Shuang Song, Thomas Steinke+2 more|arXiv (Cornell University)|Jun 11, 2020

Privacy-Preserving Technologies in Data参考文献 55被引用数 8

ひとこと要約

本稿は、制約なし一般化線形モデル（GLMs）における微分プライバシー勾配降下法（DP-GD）を提案し、モデル次元 $p$ に依存しない、$ frac{ ext{rank}}{ ext{rank}}$ に依存する $ frac{ ext{rank}}{ ext{rank}}$ の過剰経験的リスク $ frac{ ext{rank}}{ ext{rank}}$ を達成する。主な貢献は次元に依存しないバウンドであり、次元の呪いを回避するもので、新規の下界を用いてそのタイトさが証明され、非凸GLMsおよび実用的なクリッピング付きDP-GDの拡張も含む。

ABSTRACT

We revisit the well-studied problem of differentially private empirical risk minimization (ERM). We show that for unconstrained convex generalized linear models (GLMs), one can obtain an excess empirical risk of $ ilde O\left(\sqrt{ exttt{rank}}/εn ight)$, where ${ exttt{rank}}$ is the rank of the feature matrix in the GLM problem, $n$ is the number of data samples, and $ε$ is the privacy parameter. This bound is attained via differentially private gradient descent (DP-GD). Furthermore, via the first lower bound for unconstrained private ERM, we show that our upper bound is tight. In sharp contrast to the constrained ERM setting, there is no dependence on the dimensionality of the ambient model space ($p$). (Notice that ${ exttt{rank}}\leq \min\{n, p\}$.) Besides, we obtain an analogous excess population risk bound which depends on ${ exttt{rank}}$ instead of $p$. For the smooth non-convex GLM setting (i.e., where the objective function is non-convex but preserves the GLM structure), we further show that DP-GD attains a dimension-independent convergence of $ ilde O\left(\sqrt{ exttt{rank}}/εn ight)$ to a first-order-stationary-point of the underlying objective. Finally, we show that for convex GLMs, a variant of DP-GD commonly used in practice (which involves clipping the individual gradients) also exhibits the same dimension-independent convergence to the minimum of a well-defined objective. To that end, we provide a structural lemma that characterizes the effect of clipping on the optimization profile of DP-GD.

研究の動機と目的

• 制約なし微分プライバシー経験的リスク最小化（DP-ERM）の理論的理解のギャップ、特に一般化線形モデル（GLMs）におけるものに対処すること。
• 特徴行列のランクに依存するが、環境次元 $p$ に依存しない過剰リスクに依存する、プライベート学習における次元の呪いを克服すること。
• 制約なしプライベートERMにおける最初のタイトな下界を確立し、提案された上界の最適性を証明すること。
• 非凸GLM設定への次元に依存しない収束の拡張を示し、一次の静止点への収束を示すこと。
• 凸GLM設定における実用的なクリッピング付きDP-GDバリアントのロバスト性を分析し、同じ次元に依存しないリスクバウンドを達成することを示すこと。

提案手法

• 制約なしGLMsのためのコアな最適化手法として、ノイズ注入により $\varepsilon$-微分プライバシーを保証する微分プライバシー勾配降下法（DP-GD）を提案する。
• 指紋コードを用いて、制約なしDP-ERMにおける過剰経験的リスクの新しい下界を導出し、上界のタイトさを証明する。
• 勾配クリッピングがDP-GDの最適化プロファイルに与える影響を特徴付ける構造的補題を導入し、実用的実装の分析を可能にする。
• 滑らかで非凸なGLM設定におけるDP-GDの収束を分析し、一次の静止点への収束が次元に依存しない速度で達成されることを示す。
• GLM構造を保ちながら、目的関数 $\mathcal{L}^{(B)}_{\text{clipped}}$ を定義し、クリッピング付きDP-GDがその最小値に同じ速度で収束することを示す。
• Rényi微分プライバシー（RDP）とサブサンプリングによるプライバシー拡張を用いて、DP-GDの確率的バージョンにおけるプライバシー予算を考慮する。

実験結果

リサーチクエスチョン

• RQ1 制約なしプライベートGLM学習における過剰経験的リスクを、環境次元 $p$ に依存させずにできるか？
• RQ2 提案された $ frac{ ext{rank}}{ ext{rank}}$ の上界 $ frac{ ext{rank}}{ ext{rank}}$ はタイトか？ そして制約なし設定における根本的な限界は何か？
• RQ3 微分プライバシー勾配降下法（DP-GD）は、非凸GLM設定でも次元に依存しない収束を維持するか？
• RQ4 勾配クリッピングは、実用的なプライベートGLM学習における最適化行動とプライバシー・アキュラシーのトレードオフにどのように影響するか？
• RQ5 クリッピング付きDP-GDに対して、収束特性が元の非クリッピングケースと一致する well-defined 目的関数を構築できるか？

主な発見

• 制約なし凸GLMsにおけるDP-GDの過剰経験的リスクは、環境次元 $p$ に依存せず、$ frac{ ext{rank}}{ ext{rank}}$ に依存する $ frac{ ext{rank}}{ ext{rank}}$ である。ここで $\text{rank}$ は特徴行列のランクを表す。
• この上界は、制約なしプライベートERMにおける新しい下界によりタイトであることが示され、$ frac{ ext{rank}}{ ext{rank}}$ が根本的な限界であることが確立された。
• 滑らかで非凸なGLMsでは、DP-GDは一次の静止点への収束が $ frac{ ext{rank}}{ ext{rank}}$ の速度で達成され、再び $p$ に依存しない。
• 勾配クリッピングを用いたDP-GDの変種は、well-defined なクリッピング目的関数 $\mathcal{L}^{(B)}_{\text{clipped}}$ の最小値への収束が、同じ次元に依存しない速度で達成される。
• 構造的補題により、クリッピングノルム $B$ が適切に選ばれていれば、クリッピングが収束速度を劣化させないことが示され、GLM構造が保たれる。
• Cod-RNAデータセットにおける実験により、入力次元が変化しても高いテスト精度を維持することが確認され、次元に依存しない主張が妥当であることが裏付けられた。