[論文レビュー] Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization

Xiaodong Yang, Huishuai Zhang+2 more|arXiv (Cornell University)|Jun 27, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、勾配をクリッピングする代わりに、各サンプルごとの勾配を正規化するDP-NSGDと呼ばれる、微分プライバシーを適用した最適化アルゴリズムを提案し、非凸な設定における収束性を向上させることを目的としている。やや弱い滑らかさおよび分散の有界性の仮定のもとで、勾配ノルムの収束速度は $\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/\delta)}{N^{2}\epsilon^{2}}}\right)$ を達成し、従来の研究に比べて仮定が弱く、ハイパーパrameterの安定性が向上している。

ABSTRACT

By ensuring differential privacy in the learning algorithms, one can rigorously mitigate the risk of large models memorizing sensitive training data. In this paper, we study two algorithms for this purpose, i.e., DP-SGD and DP-NSGD, which first clip or normalize extit{per-sample} gradients to bound the sensitivity and then add noise to obfuscate the exact information. We analyze the convergence behavior of these two algorithms in the non-convex optimization setting with two common assumptions and achieve a rate $\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/δ)}{N^2ε^2}} ight)$ of the gradient norm for a $d$-dimensional model, $N$ samples and $(ε,δ)$-DP, which improves over previous bounds under much weaker assumptions. Specifically, we introduce a regularizing factor in DP-NSGD and show that it is crucial in the convergence proof and subtly controls the bias and noise trade-off. Our proof deliberately handles the per-sample gradient clipping and normalization that are specified for the private setting. Empirically, we demonstrate that these two algorithms achieve similar best accuracy while DP-NSGD is comparatively easier to tune than DP-SGD and hence may help further save the privacy budget when accounting the tuning effort.

研究の動機と目的

• DP-SGDにおける勾配クリッピングに起因する、微分プライバシーを適用した非凸最適化における収束性の悪さという課題に対処すること。
• 勾配をクリッピングするのではなく、各サンプルごとの勾配を正規化する新しい変種であるDP-NSGDの収束挙動を分析すること。
• 従来の研究よりも弱い仮定のもとで、よりタイトな収束レートを確立すること、特にグローバルな勾配の上限を仮定しないこと。
• 実験的に、DP-NSGDはDP-SGDと同等の精度を達成しながらも、ハイパーパrameterの調整がはるかに簡単であり、プライバシー予算の消費を削減できることを示すこと。
• DP-NSGDの収束証明におけるバイアスとノイズのトレードオフを制御するために、正則化因子が不可欠であることを示すこと。

提案手法

• 各サンプルの勾配をクリッピングする代わりに、正則化因子 $ r > 0 $ を用いた正規化を導入するDP-NSGDを提案。定義は $ h^{(i)} = \frac{1}{r + \|\mathbf{g}^{(i)}\|} $ である。
• 微分プライバシーを保証するために、正規化された勾配にガウスノイズ $ \mathbf{z} \sim \mathcal{N}(0, \sigma^2 \mathbf{I}_d) $ を適用する。
• Rényi微分プライバシー（RDP）と、非復元抽出によるプライバシーの強化を用いて、プライバシー保証を導出する。
• RDPの関数的視点と合成定理を用いてプライバシー損失をバウンドし、[8]の結果を活用してサブサンプルされたガウス機構のプライバシーを分析する。
• 最適化プロセスにおけるバイアスとノイズのバランスを保つために、ill-conditioningを防ぐために正則化因子 $ r $ を導入する。
• 二つのやや弱い仮定のもとで収束を分析する：$ (L_0, L_1) $-一般化滑らかさと $ (\tau_0, \tau_1) $-有界勾配分散。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用した非凸最適化において、勾配正規化は勾配クリッピングを上回る収束速度とハイパーパrameterの安定性を達成できるか？
• RQ2 勾配ノルムの増加を許容するような滑らかさおよび勾配分散の成長を許す弱い仮定のもとで、DP-NSGDの収束速度はどのようになるか？
• RQ3 正規化因子に正則化因子 $ r $ を含めることで、DP-NSGDにおけるバイアスとノイズのトレードオフにどのような影響を与えるか？
• RQ4 実際の応用において、DP-NSGDはDP-SGDよりも優れたプライバシーと精度のトレードオフを達成できるか、特にハイパーパrameterの調整にかかる作業量を考慮して？
• RQ5 サブサンプルされたガウス機構を用いることで、DP-NSGDのためのよりタイトなプライバシー会計フレームワークは何か？

主な発見

• DP-NSGDは、$ (L_0, L_1) $-一般化滑らかさと $ (\tau_0, \tau_1) $-有界勾配分散というやや弱い二つの仮定のもとで、勾配ノルムの収束速度が $ \mathcal{O}\left(\sqrt[4]{\frac{d\log(1/\delta)}{N^{2}\epsilon^{2}}}\right) $ を達成する。
• 従来の研究がグローバルな勾配上限を仮定する必要があったのに対し、本研究の収束速度はより強い仮定を必要とせず、改善されている。
• 正規化因子における正則化因子 $ r $ は収束証明において不可欠であり、バイアスとノイズのトレードオフを効果的に制御する。
• 実験結果から、DP-NSGDはDP-SGDと同等の最良の精度を達成するが、ハイパーパラメータの調整がはるかに簡単であることが示された。
• プライバシー予算の消費が削減されたことから、DP-NSGDは微分プライバシー学習の実用的応用において好ましい可能性がある。
• 本研究の分析は、Rényi微分プライバシーと非復元抽出に基づく洗練されたプライバシー会計フレームワークを活用しており、従来の手法よりもタイトなバウンドを可能にしている。