[論文レビュー] Differentially Private Optimization on Large Model at Small Cost

Zhiqi Bu, Yuxiang Wang+2 more|arXiv (Cornell University)|Sep 30, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、大規模なディープラーニングモデルにおける差分プライバシー（DP）最適化の計算およびメモリオーバーヘッドを著しく削減する、システムレベルの新技術Book-Keeping（BK）を紹介する。ゴーストノルム、ブックキーピング、ゴースト微分を組み合わせることで、BKは標準的なトレーニングにほぼ匹敵する効率を達成し、GPT2、ResNet、ViTの画像および自然言語タスクにおいて、状態を凌駕するDP精度を維持しながら、時間コストは1.03倍、メモリオーバーヘッドは<1%に抑えられる。

ABSTRACT

Differentially private (DP) optimization is the standard paradigm to learn large neural networks that are accurate and privacy-preserving. The computational cost for DP deep learning, however, is notoriously heavy due to the per-sample gradient clipping. Existing DP implementations are 2-1000X more costly in time and space complexity than the standard (non-private) training. In this work, we develop a novel Book-Keeping (BK) technique that implements existing DP optimizers (thus achieving the same accuracy), with a substantial improvement on the computational cost. Specifically, BK enables DP training on large models and high dimensional data to be roughly as fast and memory-saving as the standard training, whereas previous DP algorithms can be inefficient or incapable of training due to memory error. The computational advantage of BK is supported by the complexity analysis as well as extensive experiments on vision and language tasks. Our implementation achieves state-of-the-art (SOTA) accuracy with very small extra cost: on GPT2 and at almost the same memory cost (&lt;1% overhead), BK has 1.03X the time complexity of the standard training (0.83X training speed in practice), and 0.61X the time complexity of the most efficient DP implementation (1.36X training speed in practice). We open-source the codebase for the BK algorithm at the FastDP library (https://github.com/awslabs/fast-differential-privacy).

研究の動機と目的

• 大規模モデルや高次元データに対して、差分プライバシー付きディープラーニングの高い計算およびメモリコストを低減すること。
• 従来、2～1000倍の遅延と顕著なメモリ増加を引き起こす、DP最適化におけるサンプルごとの勾配クリッピングのボトル neck を克服すること。
• プライバシー保証を損なわずに、標準的な非プライベートトレーニングに近い効率を実現する、システムレベルの最適化を設計すること。
• パラメータ効率の良い微調整（例：LoRA、Adapter）および分散トレーニングをサポートするように拡張し、広範な互換性を確保すること。
• 画像および自然言語ベンチマークで、最小限のパフォーマンスオーバーヘッドで、状態を凌駆するプライバシーと精度のトレードオフを達成すること。

提案手法

• ミニバッチ内の複数のサンプル間で中間勾配値を追跡・再利用することで、サンプルごとの勾配ノルムを効率的に計算するBook-Keeping（BK）技術を導入する。
• ゴーストノルムのテクニックを活用し、サンプルごとの勾配を明示的にメモリ上に展開することなく、メモリ使用量を削減するとともに、勾配ノルム計算を効率化する。
• ゴースト微分を適用して、完全なサンプルごとの勾配を格納せずに勾配を計算することで、バックプロパゲーション中のメモリフットプリントを最小限に抑える。
• モデルアーキテクチャや特徴次元に応じて、ゴーストノルムとサンプルごとの勾配生成の間で動的に切り替えるハイブリッドBKアルゴリズムを開発し、パフォーマンス最適化を実現する。
• 任意のPyTorchモデル、最適化手法、トレーニング設定（例：LoRA、BiTFit、ZeRO、勾配蓄積）をサポートするモジュラーかつ自動化されたコードベース（FastDP）にBKを統合する。
• 理論的複雑度解析と実験的評価を用いて、BKが理論的には理想に近い時間および空間複雑度を達成し、理論的には標準トレーニングと同等であり、実際の実行ではそれに近づくことを検証する。

実験結果

リサーチクエスチョン

• RQ1 DP最適化におけるサンプルごとの勾配クリッピングを、時間およびメモリ複雑度の面で標準トレーニングと同等の効率にできるか？
• RQ2 ゴーストノルムやブックキーピングといったシステムレベルの最適化は、大規模モデルにおけるDPトレーニングの計算負荷をどのように軽減できるか？
• RQ3 異なるモデルアーキテクチャや入力次元において、ゴーストノルムとサンプルごとの勾配生成の最適なトレードオフは何か？
• RQ4 BK技術は、プライバシーまたは効率を損なわずに、パラメータ効率の良い微調整および分散トレーニングをサポートするために一般化可能か？
• RQ5 BKは、DPトレーニングにおける理論的複雑度と実際のハードウェアパフォーマンスのギャップをどの程度埋めることができるか？

主な発見

• GPT2では、BKによりDPトレーニングの時間複雑度が標準トレーニングの1.03倍にまで低下し、実際のトレーニング速度は0.83倍にまで向上し、メモリオーバーヘッドは1%未満に抑えられる。
• RoBERTa-largeでは、最も効率の高かった先行DP実装（GhostClip）と比較して、BKは1.36倍の速度を達成し、時間複雑度は0.61倍にまで低下する。
• BKにより、BEiT-large や GPT2-large といった大規模モデルを1枚のA100 GPUでメモリオーフローを回避してトレーニング可能となり、従来の手法ではメモリ制限で失敗していた。
• ハイブリッドBKアルゴリズムは、トランスフォーマーではゴーストノルムを、より深いCNNではサンプルごとの勾配計算を優先することで、アーキテクチャに応じて最適なパフォーマンスを自動で切り替え、最適化を実現する。
• BKは、画像および自然言語タスクで、状態を凌駕する精度を維持する：E2Eではε=3で64.6 BLEU、CIFAR10ではε=2で97.1%の精度を達成する。
• BKに基づいて構築されたFastDPライブラリは、任意のモデル、最適化手法、トレーニング技術（例：LoRA、ZeRO）との自動統合をサポートし、広範な互換性と将来への耐久性を確保する。