[論文レビュー] Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds

Yingxue Zhou, Xiangyi Chen+3 more|arXiv (Cornell University)|Jun 24, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用数 8

ひとこと要約

本稿は、微分プライバシーの一般化特性を活用することで、一様収束による劣悪な $O(\sqrt{p}/\sqrt{n})$ の境界を回避し、$\tilde{O}(\sqrt[4]{p}/\sqrt{n})$ のよりタイトな母集団勾配境界を達成する、微分プライバシー付きの適応的最適化アルゴリズム—DP RMSProp および DP Adam—を提案する。この手法は、反復ごとの一般化誤差をプライバシーに起因する勾配近似によって制御する。深層学習タスクにおいて、DP SGD よりも実験的に優れた性能を示す。

ABSTRACT

We study differentially private (DP) algorithms for stochastic non-convex optimization. In this problem, the goal is to minimize the population loss over a $p$-dimensional space given $n$ i.i.d. samples drawn from a distribution. We improve upon the population gradient bound of ${\sqrt{p}}/{\sqrt{n}}$ from prior work and obtain a sharper rate of $\sqrt[4]{p}/\sqrt{n}$. We obtain this rate by providing the first analyses on a collection of private gradient-based methods, including adaptive algorithms DP RMSProp and DP Adam. Our proof technique leverages the connection between differential privacy and adaptive data analysis to bound gradient estimation error at every iterate, which circumvents the worse generalization bound from the standard uniform convergence argument. Finally, we evaluate the proposed algorithms on two popular deep learning tasks and demonstrate the empirical advantages of DP adaptive gradient methods over standard DP SGD.

研究の動機と目的

• 一様収束による $O(\sqrt{p}/\sqrt{n})$ のレートを超えて、微分プライバシー付きの確率的非凸最適化における一般化境界を改善すること。
• 深層学習で広く使われるような適応的勾配法（DP RMSProp や DP Adam など）への微分プライバシー最適化の拡張を図ること。
• 一様収束に依存せず、微分プライバシーの一般化特性を活用することで、よりタイトな母集団リスク境界を確立すること。
• 適応的勾配法の DP バージョンにおける最初の経験的リスク解析を提供すること。
• 実世界の深層学習ベンチマークにおいて、DP 付きの適応的最適化手法が標準的な DP SGD よりも優れた性能を示すことを経験的に検証すること。

提案手法

• 勾配にノイズを注入することで、微分プライバシーを保ちつつ RMSProp および Adam の DP バージョンを提案する。
• 反復ごとに経験的勾配と母集団勾配の差を制御するため、微分プライバシーと適応的データ解析を結びつける新しい証明技術を用いる。
• プライバシーの強化と集中不等式を適用して、DP 制約下での勾配推定誤差を制御する。
• プライバシーに起因する一般化を用いて、母集団勾配の $\ell_2$-ノルムに対する高確率境界を導出する。
• ノイズスケーリング、ステップサイズスケジューリング、および適応的モーメント推定の組み合わせにより、プライバシー制約下での訓練を安定化させる。
• 画像分類などの深層学習タスクにおける実験を通じて、理論的境界の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー付きの適応的勾配法（DP Adam や DP RMSProp）は、非凸最適化において、標準的な DP SGD よりも良い一般化境界を達成できるか？
• RQ2 標準的な一様収束の議論が、DP 非凸最適化におけるよりタイトな母集団リスク境界の達成を妨げるボトルネックとなっているか？
• RQ3 微分プライバシー自体の一般化特性を活用することで、$O(\sqrt{p}/\sqrt{n})$ よりも鋭い勾配ノルム境界を導出できるか？
• RQ4 適応的 DP 最適化において、プライバシー予算、モデル次元、一般化誤差の間の最適なトレードオフは何か？
• RQ5 実世界の深層学習ベンチマークにおいて、DP 適応的手法は実際のところ、DP SGD よりも優れているか？

主な発見

• 本稿は、$\tilde{O}(\sqrt[4]{p}/\sqrt{n})$ のよりタイトな母集団勾配境界を達成し、一様収束による従来の $O(\sqrt{p}/\sqrt{n})$ の境界を改善した。
• 改善された境界は、一様収束の最悪ケースの議論を避けるために、微分プライバシーの一般化特性を直接分析することで達成された。
• 著者らは、RMSProp および Adam の DP バージョンにおける最初の理論的リスク解析を提供し、小さな経験的勾配ノルムへの収束を示した。
• 下界が確立され、一様収束による $\sqrt{p}/\sqrt{n}$ のレートがタイトであることが示された。これにより、改善のためにはこの議論を回避する必要があることが証明された。
• 画像分類などの深層学習タスクにおける経験的評価では、DP Adam および DP RMSProp が、同じプライバシー予算下で標準的な DP SGD よりも高いモデル精度を達成した。
• 理論的および経験的結果を統合することで、非凸設定において適応的 DP 手法が、より優れたユーティリティ-プライバシーのトレードオフを達成できることを示した。