[論文レビュー] Understanding Gradient Clipping in Private SGD: A Geometric Perspective

Xiangyi Chen, Zhiwei Steven Wu+1 more|arXiv (Cornell University)|Jun 27, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用数 61

ひとこと要約

本論文は勾配クリッピングがSGDおよびDP-SGDの収束に与えるバイアスを分析し、対称性に基づく収束フレームワークを導入し、クリッピングのバイアスを軽減するための摂動技術を提案する。

ABSTRACT

Deep learning models are increasingly popular in many machine learning applications where the training data may contain sensitive information. To provide formal and rigorous privacy guarantee, many learning systems now incorporate differential privacy by training their models with (differentially) private SGD. A key step in each private SGD update is gradient clipping that shrinks the gradient of an individual example whenever its L2 norm exceeds some threshold. We first demonstrate how gradient clipping can prevent SGD from converging to stationary point. We then provide a theoretical analysis that fully quantifies the clipping bias on convergence with a disparity measure between the gradient distribution and a geometrically symmetric distribution. Our empirical evaluation further suggests that the gradient distributions along the trajectory of private SGD indeed exhibit symmetric structure that favors convergence. Together, our results provide an explanation why private SGD with gradient clipping remains effective in practice despite its potential clipping bias. Finally, we develop a new perturbation-based technique that can provably correct the clipping bias even for instances with highly asymmetric gradient distributions.

研究の動機と目的

• 勾配クリッピングがSGDおよびDP-SGDの収束にどのようなバイアスを与えるかを動機付け、定量化する。
• クリッピングバイアスを界す対称性ベースの幾何的指標を開発して境界づける。
• リプシッツ性の損失仮定に依らず、DP-SGD への解析を拡張する。
• DP-SGD の訓練中の勾配分布の対称性を実証的に検証する。
• 歪んだ勾配分布下でクリッピングバイアスを低減する摂動ベースの手法を提案する。

提案手法

• 勾配クリッピングを用いた SGD をモデル化し、クリッピング下で E[⟨∇f(x_t), g_t⟩] の収束を分析する。
• 勾配分布を近傍の対称分布と結合させることによる不一致度（disparity）測度を導入する。
• 対称性の下でクリッピング勾配の正の整列を示す定理1および定理2を確立する。
• 勾配クリッピングとガウスノイズを用いたDP-SGDへ拡張し、分布間の Wasserstein 距離を含む収束境界（定理5）を導出する。
• クリッピング前の摂動（クリッピング前に加えるガウスノイズ）を提案し、クリッピングバイアスを低減する（定理6）。
• 乱択射影とコサインヒストグラムによる勾配対称性の経験的可視化を提供する。

実験結果

リサーチクエスチョン

• RQ1 クリッピングバイアスにもかかわらず、いつ勾配クリッピングは SGD および DP-SGD の収束を保持するか？
• RQ2 勾配分布の対称性は真の勾配とクリッピング後勾配の整列にどう影響するか？
• RQ3 クリッピング前の摂動は、プライバシー保証を損なうことなくクリッピングバイアスを減らせるか？
• RQ4 DP-SGD の収束は、対称性測度と勾配分布間の Wasserstein 距離にどう依存するか？

主な発見

• 最悪の場合の例ではクリッピングバイアスが収束を妨げることがあるが、勾配分布の対称性はクリッピング後勾配と真の勾配の正の整列を保証できる。
• 結合ベースの不一致度測度（Wasserstein距離に似たもの）がクリッピングバイアスを界し、近対称な勾配での実用的な収束を説明する。
• 実証的な結果は、DP-SGD の軌跡に沿う勾配分布が次第に対称的になることを示し、理論を裏付ける。
• DP-SGD では、対称的な勾配分布は標準の O(√d/(nϵ)) 収束速度を定数倍まで回復する; バイアスは分布間の Wasserstein 距離に結びつく。
• クリッピング前の摂動技術は理論的にクリッピングバイアスを低減し、バイアスと分散の増加をトレードオフする。
• 乱択射影とコサインヒストグラムによる可視化は、MNIST および CIFAR-10 で勾配分布の近似的な対称性を示唆している。