[論文レビュー] Fine-Tuning Large Language Models with User-Level Differential Privacy

Zachary Charles, Arun Ganesh+5 more|arXiv (Cornell University)|Jul 10, 2024

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、大規模言語モデル（LLMs）のための実用的なユーザーレベル微調整手法2つを提案し、評価する：例レベルのサンプリング（ELS）を用いたDP-SGDと、ユーザーレベルのサンプリング（ULS）を用いたDP-SGD。ELSに対して、新たな、証明可能にタイトなユーザーレベルDP会計法を導入し、強いプライバシー制約や大規模な計算リソース環境下では、ULSがELSを上回る性能を示すことが判明した。これは、ノイズとクリッピングのトレードオフがより効果的に管理されているためである。

ABSTRACT

We investigate practical and scalable algorithms for training large language models (LLMs) with user-level differential privacy (DP) in order to provably safeguard all the examples contributed by each user. We study two variants of DP-SGD with: (1) example-level sampling (ELS) and per-example gradient clipping, and (2) user-level sampling (ULS) and per-user gradient clipping. We derive a novel user-level DP accountant that allows us to compute provably tight privacy guarantees for ELS. Using this, we show that while ELS can outperform ULS in specific settings, ULS generally yields better results when each user has a diverse collection of examples. We validate our findings through experiments in synthetic mean estimation and LLM fine-tuning tasks under fixed compute budgets. We find that ULS is significantly better in settings where either (1) strong privacy guarantees are required, or (2) the compute budget is large. Notably, our focus on LLM-compatible training algorithms allows us to scale to models with hundreds of millions of parameters and datasets with hundreds of thousands of users.

研究の動機と目的

• 大規模言語モデルのユーザーレベル微調整に、スケーラブルかつ実用的なアルゴリズムを開発し、各ユーザーのすべてのデータが保護されることを保証すること。
• ユーザーが複数の相関する例を提供する状況において、例レベルDPの限界を克服し、ユーザーレベルのメンバーシップ推定攻撃のリスクを低減すること。
• 特にELSバージョンを想定したLLM学習の文脈において、ユーザーレベルDPの証明可能にタイトなプライバシー会計法を提供すること。
• 固定された計算リソース予算下で、プライバシー要件を変化させた際のELSとULSの性能を実験的に比較し、最適な構成戦略を同定すること。
• 数百万人のパラメータを持つモデルおよび数十万件のユーザーを含むデータセットを用いて、実世界のLLM微調整タスクにおいて手法を検証すること。

提案手法

• DP-SGD-ELSの提案：例レベルのサンプリングと個別勾配クリッピングを適用したDP-SGDを実行し、新たなグループプライバシー解析を用いてユーザーレベルのプライバシー保証を導出する。
• DP-SGD-ULSの提案：ユーザーレベルのサンプリングとユーザーレベルの勾配クリッピングを適用し、1ユーザーあたりの複数例の勾配を事前に平均化した後、クリッピングを実施する。
• ELSの文脈において、グループ化された例のサブサンプルされたガウス機構の合成を分析することで、証明可能にタイトなプライバシー境界を計算する新しいユーザーレベルDP会計法を開発する。
• 固定された計算リソース予算下で、プライバシーとユーティリティのトレードオフを比較するため、合成平均推定タスクおよび実際のLLM微調整タスク（Stack Overflow、CC-News）を用いる。
• ULSのハイパーパrameter $G_{\text{ULS}}$ と $M$ のチューニングに、オラクル、推定・2倍法、ランダム、最大コhort、最大グループサイズの各構成戦略のスイートを用いる。
• 個別ユーザーのデータをさらに微調整することで、プライベートネスとユーティリティのトレードオフを評価するため、パーソナライゼーション性能を評価する。

Figure 1 : Upper bound on $\varepsilon$ for ELS using our Mixture-of-Gaussians (MoG) accountant and the prior state-of-the-art black-box accounting from [ 23 ] . We set $T=2000$ iterations, sampling probability $p=10^{-2}$ , $\delta=10^{-6}$ , and vary $\sigma_{\text{ELS}}$ and $G_{\text{ELS}}$ . Fo

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの微調整に、ユーザーレベルの微分プライバシーを効果的かつ効率的に適用する方法は何か？
• RQ2 プライバシー、ユーティリティ、計算効率という観点から、例レベルのサンプリング（ELS）とユーザーレベルのサンプリング（ULS）の相対的な性能トレードオフはどのようなものか？
• RQ3 新しいユーザーレベルDP会計法は、一般的な例からユーザーへの還元手法よりも、ELSに対して証明可能にタイトなプライバシー境界を提供できるか？
• RQ4 固定された計算リソース予算下で、ELSとULSのどちらがより高いモデルユーティリティを達成するか？また、それぞれがどのような条件下で優れた性能を発揮するか？
• RQ5 パーソナライゼーションを、ELSとULSで訓練されたモデルに適用した場合、プライバシーとユーティリティのトレードオフにどのような影響を与えるか？

主な発見

• 提案されたELS用ユーザーレベルDP会計法は、一般的な例からユーザーへの還元手法よりも、証明可能にタイトなプライバシー境界を提供し、プライバシーとユーティリティのトレードオフを顕著に改善した。
• 各ユーザーが多様な例を提供する状況では、ULSはELSに比べて常に高いモデルユーティリティを達成するが、特に強いプライバシー制約（$\varepsilon \leq 16$）または大規模な計算リソース環境下で顕著である。
• ULSはノイズ乗数 $\sigma$ とクリップノルム $C$ の間でトレードオフを取れるが、ELSは $\sigma$ のみを小さくできるため、その恩恵は次第に小さくなる。
• ULSの $G_{\text{ULS}}$ と $M$ の構成に、推定・2倍法ヒューリスティックを適用した場合、すべての計算リソース予算およびプライバシー水準で、オラクル戦略とほぼ同等の性能を達成した。
• パーソナライゼーションはELSおよびULSの両方でユーティリティを向上させるが、両手法間の相対的な性能差は変化せず、パーソナライゼーション後もULSの優位性が維持された。
• 本研究では、数百万人のパラメータを持つモデルおよび数十万件のユーザーを含むデータセットにおいて、ユーザーレベルDPを用いたLLMのスケーラブルなトレーニングを実証した。

(b) Noise variance of ELS and ULS for varying compute budgets and different relative values of $L_{\text{ELS}}$ and $L_{\text{ULS}}$ .