[論文レビュー] Dimension Independence in Unconstrained Private ERM via Adaptive Preconditioning.

Peter Kairouz, Mónica Ribero+2 more|arXiv (Cornell University)|Aug 14, 2020

Stochastic Gradient Optimization Techniques参考文献 11被引用数 10

ひとこと要約

本稿では、プライベートで制約なしの凸な経験的リスク最小化（ERM）に対して、ノイズを含む適応的プリコンディショニング（ノイズ付きAdaGrad）を導入し、勾配が低ランク部分空間に存在する場合、過剰な経験的リスクが $ ilde{O}(1/ ilde{ϵ} n)$ に比例してスケーリングされることを示している。これは、環境次元 $p$ とは無関係であり、微分プライバシー下での次元に依存しない一般化を達成する。この手法は勾配部分空間の構造を活用して、ノイズの影響を低減する。

ABSTRACT

In this paper we revisit the problem of private empirical risk minimziation (ERM) with differential privacy. We show that for unconstrained convex empirical risk minimization if the observed gradients of the objective function along the path of private gradient descent lie in a low-dimensional subspace (smaller than the ambient dimensionality of $p$), then using noisy adaptive preconditioning (a.k.a., noisy Adaptive Gradient Descent (AdaGrad)) we obtain a regret composed of two terms: a constant multiplicative factor of the original AdaGrad regret and an additional regret due to noise. In particular, we show that if the gradients lie in a constant rank subspace, then one can achieve an excess empirical risk of $ ilde{O}(1/\epsilon n)$, compared to the worst-case achievable bound of $ ilde{O}(\sqrt{p}/\epsilon n)$. While previous works show dimension independent excess empirical risk bounds for the restrictive setting of convex generalized linear problems optimized over unconstrained subspaces, our results operate with general convex functions in unconstrained minimization. Along the way, we do a perturbation analysis of noisy AdaGrad, which may be of independent interest.

研究の動機と目的

• 高次元ノイズが微分プライバシー下での制約なしの凸問題に対する経験的リスク最小化（ERM）に与える影響に対処すること。
• 微分プライバシー下で次元に依存しない過剰リスクの境界を達成する手法を開発すること。
• 従来の結果（一般化線形モデルに限定されていた）を、より制限の厳しい仮定を超えて一般凸関数へと拡張すること。
• 特にノイズ付きAdaGradを含む適応的勾配法におけるノイズの摂動効果を分析し、理論的および実用的洞察を得ること。

提案手法

• 微分プライバシーを維持するためにノイズを追加することで、適応的かつ更新されるヘッシアン近似を用いた、プライベート勾配降下法にノイズを含む適応的プリコンディショニング（ノイズ付きAdaGrad）を適用する。
• 制約なしの凸なERMにおける勾配がしばしば低次元部分空間に存在することに着目し、有効次元を低減する。
• 元のAdaGradのリグレットと比例する項と、追加のノイズ由来のリグレットに分解されるリグレット境界を導出する。
• ノイズ付きAdaGradの摂動解析を用いて、ノイズの影響が収束に与える影響を限定し、低ランク勾配ダイナミクス下で安定することを示す。
• 勾配が定数ランク部分空間を張る場合、ノイズ由来のリグレットは主な項と比較して無視できるほど小さくなることを確立する。
• $ ilde{O}(1/\tilde{ϵ} n)$ の次元に依存しない過剰経験的リスク境界を導入し、最悪ケースの $ ilde{O}(\sqrt{p}/\tilde{ϵ} n)$ よりも改善される。

実験結果

リサーチクエスチョン

• RQ1 一般凸関数に対する微分プライバシー下のERMにおいて、適応的プリコンディショニングが環境次元 $p$ への依存を低減できるか？
• RQ2 プライベート最適化における適応的勾配法（例：AdaGrad）の収束に、ノイズが与える影響は何か？
• RQ3 プライベートERMの勾配パスがどのような条件下で低次元部分空間に存在するのか？ これにより次元に依存しない境界が可能になる。
• RQ4 ノイズ付きAdaGradのリグレットは、明確な信号項とノイズ項に分解可能か？ また、低ランク勾配仮定下で後者を有界にできるか？
• RQ5 一般化線形モデルを超えて、プライベートERMで $ ilde{O}(1/\tilde{ϵ} n)$ の過剰リスクを達成することは可能か？

主な発見

• 勾配が定数ランク部分空間に存在する場合、ノイズ付きAdaGradの過剰リスクは環境次元 $p$ とは無関係に $ ilde{O}(1/\tilde{ϵ} n)$ に比例する。
• 提案手法のリグレットは、元のAdaGradのリグレットの定数倍と、追加のノイズ由来のリグレットの和で構成され、低ランク勾配ダイナミクス下で有界である。
• $p$ が大きい場合、最悪ケースの $ ilde{O}(\sqrt{p}/\tilde{ϵ} n)$ よりも顕著な改善が達成される。
• ノイズ付きAdaGradの摂動解析により、微分プライバシー下での手法の安定性と収束性に対する理論的根拠が得られた。
• 従来、一般化線形モデルに限定されていた次元に依存しない境界の結果が、制約なし最小化における一般凸関数へと一般化された。
• このフレームワークにより、勾配構造が低ランクである場合、高次元パrameter空間への感受性が低減された実用的なプライベート学習が可能になる。