[論文レビュー] Private Adaptive Gradient Methods for Convex Optimization

Hilal Asi, John C. Duchi+3 more|arXiv (Cornell University)|Jun 25, 2021

Stochastic Gradient Optimization Techniques被引用数 12

ひとこと要約

この論文では、勾配の幾何構造に合わせた非等方的ノイズとクリッピングを用いることで、標準的なプライベートSGDを改善する微分プライバシー準拠の適応的最適化手法Paganを紹介する。ノイズを均一な（ガウス分布の）ノイズではなく、実際の勾配の大きさに合わせて調整することで、特に非等方的かつ高次元な設定において、よりタイトなレグルレーションバウンドと優れた実験的性能を達成する。

ABSTRACT

We study adaptive methods for differentially private convex optimization, proposing and analyzing differentially private variants of a Stochastic Gradient Descent (SGD) algorithm with adaptive stepsizes, as well as the AdaGrad algorithm. We provide upper bounds on the regret of both algorithms and show that the bounds are (worst-case) optimal. As a consequence of our development, we show that our private versions of AdaGrad outperform adaptive SGD, which in turn outperforms traditional SGD in scenarios with non-isotropic gradients where (non-private) Adagrad provably outperforms SGD. The major challenge is that the isotropic noise typically added for privacy dominates the signal in gradient geometry for high-dimensional problems; approaches to this that effectively optimize over lower-dimensional subspaces simply ignore the actual problems that varying gradient geometries introduce. In contrast, we study non-isotropic clipping and noise addition, developing a principled theoretical approach; the consequent procedures also enjoy significantly stronger empirical performance than prior approaches.

研究の動機と目的

• 勾配の幾何構造が重要となる高次元かつ非等方的問題において、標準的な微分プライバシー準拠SGDの非最適性に対処すること。
• プライベート最適化における等方的ノイズの制限を克服すること。等方的ノイズは信号を支配し、勾配の構造を無視する。
• 実際の勾配の大きさと幾何構造を反映する、原理的でプライベートな適応的手法を開発し、収束速度を向上させること。
• 現実的な分布仮定のもとで、プライベートな適応的手法が非適応的手法を上回ることを示すこと。
• 理論的レグルレーションバウンドと下界を提示し、提案手法のタイトさと最適性を示すこと。

提案手法

• 観測された勾配ノルムに基づく非等方的ノイズと適応的クリッピングを用いる、AdaGradの微分プライバシー準拠版であるPaganを提案する。
• 実際の勾配の大きさに応じてノイズをスケーリングするプライベートな適応メカニズムを導入し、最悪ケースの仮定を避ける。
• モーメント会計分析（Abadi et al.）を用いて、適応的ノイズとクリッピングにおけるプライバシー損失を追跡する。
• 対角ヘッシアン近似を用いて、完全な共分散行列の計算を避けても、勾配の2次モーメントを効率的に推定し、リアルタイムでの適応を可能にする。
• 低ランク部分空間仮定を避けることで、勾配の幾何的構造を活用しながらも、プライバシーを維持するプライベート最適化フレームワークを設計する。
• WikiText-103を用いてLSTM言語モデル上でPaganを実装・評価し、DP-SGDおよび非プライベートベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 非等方的設定における幾何的利点を保ちつつ、適応的最適化手法を微分プライバシー準拠にできるか？
• RQ2 高次元問題において、プライベートな適応的手法に非等方的ノイズを追加することで、等方的ノイズよりも優れた収束性能が得られるか？
• RQ3 一般化性能とプライバシー・正確性のトレードオフという観点から、プライベートな適応的手法は標準的なDP-SGDと比べてどうか？
• RQ4 自然な分布仮定のもとで、プライベートな適応的手法のための理論的レグルレーションバウンドを導出し、それがタイトであることを示せるか？
• RQ5 Paganの実世界のNLPタスクにおける他のプライベートおよび非プライベート最適化手法に対する実験的性能はいかがなものか？

主な発見

• すべてのプライバシー水準（ε = 0.5, 1, 3）において、PaganはDP-SGDおよびPasanよりも顕著に優れたテストパープレキシティを達成した。ε = 0.5のとき、Paganのテストパープレキシティは291.41であり、DP-SGDの350.23よりも低い。
• ε = 3のとき、Paganのテストパープレキシティは224.82に低下し、Pasan（238.87）およびDP-SGD（238.44）を上回った。これは、プライベート設定において一貫した優位性を示している。
• Paganのレグルレーションバウンドは（最悪ケースにおいて）最適であり、標準的なプライベートSGDとは異なり、実際の勾配幾何構造を反映している。標準的なプライベートSGDは最悪ケースの勾配ノルムに依存する。
• 非等方的勾配が存在する状況では、Paganは適応的および非適応的プライベートSGDの両方を上回った。非プライベートなAdaGradがSGDを上回ることが知られている状況で顕著であった。
• ハイパーパramータの誤設定に対しても頑健であり、モーメント推定値に乗法的誤差が生じても収束保証が定数倍にしか低下しない。
• PDP-SGDと同様に低ランク部分空間への射影を避けることで、メモリと計算コストの負担を回避し、性能を損なわずに大規模モデルへスケーラブルに拡張可能である。