[論文レビュー] Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger

Zhiqi Bu, Yuxiang Wang+2 more|arXiv (Cornell University)|Jun 14, 2022

Machine Learning and Algorithms被引用数 14

ひとこと要約

本稿では、微分プライバシー最適化手法としての自動クリッピングを提案する。この手法は、DP-SGD や DP-Adam などの最適化手法におけるクリッピング閾値 $ R $ のチューニングを不要にする。固定クリッピングに代えて、勾配正規化に基づく学習可能なメカニズムを導入し、1つのハイパーパrameter $ \gamma $ を用いることで、視覚および言語タスクにおいて、プライバシーと計算効率を保ちながら、最先端の精度を達成する。

ABSTRACT

Per-example gradient clipping is a key algorithmic step that enables practical differential private (DP) training for deep learning models. The choice of clipping threshold R, however, is vital for achieving high accuracy under DP. We propose an easy-to-use replacement, called automatic clipping, that eliminates the need to tune R for any DP optimizers, including DP-SGD, DP-Adam, DP-LAMB and many others. The automatic variants are as private and computationally efficient as existing DP optimizers, but require no DP-specific hyperparameters and thus make DP training as amenable as the standard non-private training. We give a rigorous convergence analysis of automatic DP-SGD in the non-convex setting, showing that it can enjoy an asymptotic convergence rate that matches the standard SGD, under a symmetric gradient noise assumption of the per-sample gradients (commonly used in the non-DP literature). We demonstrate on various language and vision tasks that automatic clipping outperforms or matches the state-of-the-art, and can be easily employed with minimal changes to existing codebases.

研究の動機と目的

• 微分プライバシー学習におけるクリッピング閾値 $ R $ のハイパーパrameterチューニングという重要な課題に取り組む。
• モデル性能から $ R $ を分離することで、$ (R, \eta) $ の2次元グリッドサーチに費やすコストを削減し、$ R $ をハイパーパrameterとして必要としない。
• DP-SGD や DP-Adam、DP-LAMB などの多様な最適化手法において、自動的で、頑健かつプライバシーを保証する学習を可能にする。
• 新しいハイパーパrameter $ \gamma $ の選択にかかわらず、モデルの精度が安定して高く保たれることを保証し、非プライベート学習と同等の使いやすさを実現する。

提案手法

• 各サンプルの勾配をその $ \ell_2 $-ノルムに小さな定数 $ \gamma $ を加えたもので正規化する新しいクリッピング機構を提案し、固定クリッピング $ \texttt{Clip}(\bm{g}_i; R) $ を $ \frac{\bm{g}_i}{\|\bm{g}_i\| + \gamma} $ に置き換える。
• この自動クリッピングを標準的なDP最適化手法（例：DP-SGD、DP-Adam、DP-LAMB）に統合し、$ R $ のチューニングなしにエンドツーエンドの微分プライバシー学習を可能にする。
• モデル性能に影響を及ぼさない広範な値域（例：0.001 から 10 まで）で安定する、1つの非感受性ハイパーパラメータ $ \gamma $ を導入する。
• 理論的分析により、勾配ノイズが対称であるという仮定の下で、自動クリッピングが標準SGDと同等の漸近的収束速度を維持することを示している。
• 重み減衰が $ \gamma $ の変更に対して不変であることを保証し、再パラメータ化されたクリッピングで一般的に生じる望ましくない最適化のシフトを回避する。
• 非凸設定における自動DP-SGDの収束保証を厳密に提示し、やや厳しい条件下でも標準SGDと同等の収束速度を達成することを証明している。

実験結果

リサーチクエスチョン

• RQ1 各サンプルの勾配クリッピングを、クリッピング閾値 $ R $ の手動チューニングを必要とせずに完全に自動化できるか？
• RQ2 $ R $ をハイパーパラメータとして排除することで、微分プライバシー学習の実用性と再現性が向上するか？
• RQ3 自動クリッピングは、多様な視覚および言語タスクにおいて、最先端のDPモデルの精度を維持または上回ることができるか？
• RQ4 DP-SGD と DP-Adam などの異なる最適化手法において、収束性および重み減衰の安定性の観点から、本手法はどのように性能を発揮するか？
• RQ5 新しいハイパーパラメータ $ \gamma $ はモデル性能に感受的か？また、多様なデータセットおよびアーキテクチャにおいて、頑健な学習を可能にするか？

主な発見

• 自動クリッピングは、ImageNet および E2E 言語モデリングタスクにおいて、$ R $ のチューニングが必須な先行手法を上回る、最先端または競争力のある性能を達成する。
• ResNet18 を用いた ImageNet では、$ \gamma $ の値が広い範囲（例：0.001 から 10 まで）で安定した精度を維持し、$ \gamma $ を 10,000 倍変更しても最小限の性能低下にとどまる。
• 対称的勾配ノイズの仮定の下で、自動クリッピングが標準SGDと同等の漸近的収束速度を維持することが、定理1および定理2で証明されている。
• 再パラメータ化されたクリッピングとは異なり、自動クリッピングは $ R $ を最適化プロセスから完全に分離し、重み減衰の不測の変化を防ぎ、モデルの一般化性能を保持する。
• 計算効率が高く、DP-Adam や DP-LAMB を含むすべての主要なDP最適化手法と互換性があり、アーキテクチャやトレーニングパイプラインの変更を要しない。
• 実験的結果により、自動クリッピングは $ (R, \eta) $ の高コストな2次元グリッドサーチの必要性を排除し、ハイパーパラメータチューニングの負荷をほぼゼロにまで低減しながら、高い精度を維持することが示された。