[論文レビュー] Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping

Jiyan He, Xuechen Li+7 more|arXiv (Cornell University)|Dec 3, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、微分プライバシーを用いたディープラーニングにおける計算効率とプライバシー・ユーティリティのトレードオフを向上させるために、グループ単位のクリッピング（具体的にはレイヤー単位およびデバイス単位のクリッピング）を導入する。適応的しきい値を適用し、バックプロパゲーション内にクリッピングを統合することで、非プライベート学習と同等のメモリおよび時間効率を達成するとともに、制限された学習エポック下で平坦なクリッピングを上回る精度を実現し、ε=1でGPT-3のプライベート微調整を可能にし、非プライベートのGPT-2微調整を上回る性能を発揮する。

ABSTRACT

Differentially private deep learning has recently witnessed advances in computational efficiency and privacy-utility trade-off. We explore whether further improvements along the two axes are possible and provide affirmative answers leveraging two instantiations of \emph{group-wise clipping}. To reduce the compute time overhead of private learning, we show that \emph{per-layer clipping}, where the gradient of each neural network layer is clipped separately, allows clipping to be performed in conjunction with backpropagation in differentially private optimization. This results in private learning that is as memory-efficient and almost as fast per training update as non-private learning for many workflows of interest. While per-layer clipping with constant thresholds tends to underperform standard flat clipping, per-layer clipping with adaptive thresholds matches or outperforms flat clipping under given training epoch constraints, hence attaining similar or better task performance within less wall time. To explore the limits of scaling (pretrained) models in differentially private deep learning, we privately fine-tune the 175 billion-parameter GPT-3. We bypass scaling challenges associated with clipping gradients that are distributed across multiple devices with \emph{per-device clipping} that clips the gradient of each model piece separately on its host device. Privately fine-tuning GPT-3 with per-device clipping achieves a task performance at $ε=1$ better than what is attainable by non-privately fine-tuning the largest GPT-2 on a summarization task.

研究の動機と目的

• 微分プライバシー付きディープラーニングが、非プライベート学習と同等のメモリおよび時間効率を達成できるかどうかを調査すること。
• より大きな事前学習モデルを活用することで、プライベート学習におけるプライバシー・ユーティリティのトレードオフを改善すること。
• GPT-3のような大規模モデルの分散デバイスにおけるプライベート微調整におけるスケーラビリティの課題を解決すること。
• 固定された学習エポック制約下で、適応的グループワイズクリッピングが標準的な平坦クリッピングと同等またはそれを上回る性能を発揮できることを示すこと。

提案手法

• バックプロパゲーション中に各ニューラルネットワークレイヤーの勾配を別々にクリッピングするレイヤー単位のクリッピングを導入し、メモリおよび時間のオーバーヘッドを低減する。
• 訓練中に推定される各レイヤーごとの適応的しきい値を採用することで、固定しきい値と比較してプライバシー・ユーティリティのトレードオフを改善する。
• GPT-3のような大規模モデル向けに、各デバイスが自らのローカルモデルパラメータの勾配を独立してクリッピングするデバイス単位のクリッピングを提案し、デバイス間の勾配ノルム通信を回避する。
• グループワイズクリッピングをDP-SGDに統合し、個々の例の勾配ではなく、グループ化された勾配（レイヤーまたはモデルシャード）を対象としてクリッピングとノイズ挿入処理を再設計する。
• 適応的しきい値の推定のため、2パスバックプロパゲーションを用いて個々の例の勾配ノルムを推定し、メモリコストを最小限に抑えつつ精度を維持する。
• RoBERTa や GPT-3 といった大規模モデルに対して、微分プライバシー制約下で本手法を適用し、さまざまなプライバシー予算（ε）における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー付きディープラーニングは、非プライベート学習と同等のメモリおよび時間効率を達成できるか？
• RQ2 適応的グループワイズクリッピングは、標準的な平坦クリッピングと比較してプライバシー・ユーティリティのトレードオフを改善できるか？
• RQ3 デバイス単位のクリッピングは、GPT-3のような極めて大規模なモデルの効果的なプライベート微調整を可能にするか？
• RQ4 より大きな事前学習モデルにスケーリングすることで、微分プライバシー付き微調整の性能が向上するか？

主な発見

• 固定された学習エポック制約下で、SST-2データセットにおいて、適応的レイヤー単位クリッピングは平坦クリッピングと同等またはそれを上回る精度を達成し、RoBERTa-baseおよびRoBERTa-largeでε=8の条件下で高い精度を実現する。
• RoBERTa-baseでは、適応的レイヤー単位クリッピングがε=8、E=30の条件下で92.87%の精度を達成し、同じ条件下で平坦クリッピングの92.10%を上回る。
• デバイス単位クリッピングにより、175Bパラメータを持つGPT-3モデルをε=1でプライベートに微調整可能となり、要約タスクにおいて非プライベートの最大規模GPT-2微調整を上回る性能を発揮する。
• 提案されたレイヤー単位クリッピング手法は、多くの実用的ワークフローにおいて非プライベート学習と同等のメモリ効率とほぼ同等の更新速度を達成し、DP-SGDの計算オーバーヘッドを顕著に低減する。
• 学習されたしきい値を用いた適応的レイヤー単位クリッピングは、メモリまたは時間コストを増加させることなくユーティリティを向上させ、グループワイズクリッピングに動的しきい値を適用することで平坦クリッピングを上回る性能を発揮できることを示している。