[论文解读] Fine-Tuning Large Language Models with User-Level Differential Privacy

Zachary Charles, Arun Ganesh+5 more|arXiv (Cornell University)|Jul 10, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出并评估了两种实用的大语言模型（LLMs）用户级差分隐私微调方法：基于样本级别的采样（ELS）的DP-SGD和基于用户级别的采样（ULS）。它为ELS引入了一种新型且可严格证明的用户级DP会计方法，并发现由于噪声与裁剪策略之间的更好权衡，ULS在强隐私约束或大计算预算下通常优于ELS，尤其在实用性方面表现更优。

ABSTRACT

We investigate practical and scalable algorithms for training large language models (LLMs) with user-level differential privacy (DP) in order to provably safeguard all the examples contributed by each user. We study two variants of DP-SGD with: (1) example-level sampling (ELS) and per-example gradient clipping, and (2) user-level sampling (ULS) and per-user gradient clipping. We derive a novel user-level DP accountant that allows us to compute provably tight privacy guarantees for ELS. Using this, we show that while ELS can outperform ULS in specific settings, ULS generally yields better results when each user has a diverse collection of examples. We validate our findings through experiments in synthetic mean estimation and LLM fine-tuning tasks under fixed compute budgets. We find that ULS is significantly better in settings where either (1) strong privacy guarantees are required, or (2) the compute budget is large. Notably, our focus on LLM-compatible training algorithms allows us to scale to models with hundreds of millions of parameters and datasets with hundreds of thousands of users.

研究动机与目标

• 开发可扩展且实用的算法，用于在用户级差分隐私（DP）下微调大语言模型，确保每位用户的所有数据均受到保护。
• 解决在用户贡献多个相关样本的场景下，示例级DP的局限性，此类场景可能导致用户级成员推理攻击。
• 在大语言模型训练背景下，为用户级DP（特别是ELS变体）提供可严格证明的紧致隐私会计方法。
• 在固定计算预算下，通过实验比较ELS与ULS在不同隐私需求下的性能，识别最优配置策略。
• 在包含数百万参数模型和数十万用户数据集的真实世界LLM微调任务中验证所提方法。

提出的方法

• 提出DP-SGD-ELS：在示例级别采样和逐样本梯度裁剪下应用DP-SGD，并通过一种新颖的群体隐私分析推导出用户级隐私保证。
• 提出DP-SGD-ULS：在用户级别采样和逐用户梯度裁剪下应用DP-SGD，其中在裁剪前对每个用户的所有样本梯度进行平均。
• 开发一种新型用户级DP会计方法，通过分析分组样本上子采样高斯机制的组合，为ELS提供可严格证明的紧致隐私边界。
• 采用合成均值估计任务和真实LLM微调任务（Stack Overflow、CC-News）在固定计算预算下比较隐私与效用的权衡。
• 使用一系列配置策略（包括Oracle、Estimate-and-Double、Random、Max Cohort和Max Group Size）来调整ULS的超参数$G_{\text{ULS}}$和$M$。
• 通过在单个用户数据上进一步微调主模型，评估下游效用与隐私的权衡，以评估个性化性能。

Figure 1 : Upper bound on $\varepsilon$ for ELS using our Mixture-of-Gaussians (MoG) accountant and the prior state-of-the-art black-box accounting from [ 23 ] . We set $T=2000$ iterations, sampling probability $p=10^{-2}$ , $\delta=10^{-6}$ , and vary $\sigma_{\text{ELS}}$ and $G_{\text{ELS}}$ . Fo

实验结果

研究问题

• RQ1 如何在大规模场景下有效且高效地应用用户级差分隐私来微调大语言模型？
• RQ2 在隐私、效用和计算效率方面，示例级采样（ELS）与用户级采样（ULS）之间的相对性能权衡如何？
• RQ3 新型用户级DP会计方法能否为ELS提供比通用示例到用户映射更紧致的隐私边界？
• RQ4 在固定计算预算下，哪种方法——ELS或ULS——能带来更好的模型效用？在何种条件下各自表现更优？
• RQ5 当应用于经由ELS或ULS训练的模型时，个性化如何影响隐私-效用权衡？

主要发现

• 所提出的用于ELS的用户级DP会计方法，其隐私边界比通用示例到用户映射方法更紧致，显著改善了隐私-效用权衡。
• 当每位用户贡献多样化的样本时，ULS在模型效用方面始终优于ELS，尤其在强隐私约束（$\varepsilon \leq 16$）或大计算预算下表现更优。
• ULS通过允许在噪声乘数$\sigma$与裁剪范数$C$之间进行权衡而实现更优性能，而ELS仅能减少$\sigma$，其收益递减。
• ULS中用于配置$G_{\text{ULS}}$和$M$的Estimate-and-Double启发式策略，在所有计算预算和隐私水平下，性能几乎与Oracle策略相当。
• 个性化对ELS和ULS均能提升效用，但两者之间的相对性能差距保持一致，且ULS在个性化后仍保持其优势。
• 本研究展示了在用户级DP下对大语言模型进行可扩展训练，成功实现了对包含数百万参数模型和数十万用户数据集的有效隐私保障。

(b) Noise variance of ELS and ULS for varying compute budgets and different relative values of $L_{\text{ELS}}$ and $L_{\text{ULS}}$ .