[论文解读] Exploring the Limits of Differentially Private Deep Learning with Group-wise Clipping

Jiyan He, Xuechen Li+7 more|arXiv (Cornell University)|Dec 3, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出分组剪枝——具体为逐层剪枝和逐设备剪枝——以提升差分隐私深度学习中的计算效率与隐私-效用权衡。通过应用自适应阈值并将剪枝集成到反向传播中，该方法在内存和时间效率上与非私有训练相当，同时在受限训练轮次下，准确率优于传统剪枝方法，并实现了在 ε=1 时对 GPT-3 的私有微调，性能优于非私有 GPT-2 微调。

ABSTRACT

Differentially private deep learning has recently witnessed advances in computational efficiency and privacy-utility trade-off. We explore whether further improvements along the two axes are possible and provide affirmative answers leveraging two instantiations of \emph{group-wise clipping}. To reduce the compute time overhead of private learning, we show that \emph{per-layer clipping}, where the gradient of each neural network layer is clipped separately, allows clipping to be performed in conjunction with backpropagation in differentially private optimization. This results in private learning that is as memory-efficient and almost as fast per training update as non-private learning for many workflows of interest. While per-layer clipping with constant thresholds tends to underperform standard flat clipping, per-layer clipping with adaptive thresholds matches or outperforms flat clipping under given training epoch constraints, hence attaining similar or better task performance within less wall time. To explore the limits of scaling (pretrained) models in differentially private deep learning, we privately fine-tune the 175 billion-parameter GPT-3. We bypass scaling challenges associated with clipping gradients that are distributed across multiple devices with \emph{per-device clipping} that clips the gradient of each model piece separately on its host device. Privately fine-tuning GPT-3 with per-device clipping achieves a task performance at $ε=1$ better than what is attainable by non-privately fine-tuning the largest GPT-2 on a summarization task.

研究动机与目标

• 探究差分隐私深度学习是否可实现与非私有训练相当的内存和时间效率。
• 通过利用更大的预训练模型，改进私有学习中的隐私-效用权衡。
• 解决在分布式设备上对 GPT-3 等大模型进行私有微调的可扩展性挑战。
• 证明自适应分组剪枝在固定训练轮次约束下，可达到或超越标准平滑剪枝的性能。

提出的方法

• 提出逐层剪枝，即在反向传播过程中对神经网络每一层的梯度分别进行剪枝，从而降低内存和时间开销。
• 采用逐层自适应剪枝阈值，训练过程中动态估计，相比固定阈值，可改善隐私-效用权衡。
• 针对 GPT-3 等大规模模型，提出逐设备剪枝，即每个设备独立对其本地模型参数的梯度进行剪枝，避免跨设备梯度范数通信。
• 将分组剪枝集成到 DP-SGD 中，通过修改剪枝与噪声注入过程，使其作用于分组梯度（如各层或模型分片）而非单个样本梯度。
• 采用两轮反向传播方法，估算每个样本的梯度范数，用于自适应阈值设定，从而在保持准确率的同时最小化内存开销。
• 将该方法应用于在差分隐私约束下微调大型模型（如 RoBERTa 和 GPT-3），在不同隐私预算（ε）下评估性能。

实验结果

研究问题

• RQ1 差分隐私深度学习是否可实现与非私有训练相当的内存和时间效率？
• RQ2 与标准平滑剪枝相比，自适应分组剪枝是否能改善隐私-效用权衡？
• RQ3 逐设备剪枝是否能实现对 GPT-3 等超大模型的有效私有微调？
• RQ4 扩大预训练模型规模是否能提升差分隐私微调的性能？

主要发现

• 在固定训练轮次约束下，自适应逐层剪枝在 SST-2 数据集上的准确率与或优于平滑剪枝，在 ε=8 时，RoBERTa-base 和 RoBERTa-large 均表现更优。
• 对于 RoBERTa-base，自适应逐层剪枝在 ε=8 和 E=30 条件下达到 92.87% 的准确率，优于相同条件下的平滑剪枝（92.10%）。
• 逐设备剪枝使在 ε=1 时对 175B 参数 GPT-3 模型的私有微调成为可能，其在摘要任务上的性能优于非私有 GPT-2 最大模型的微调结果。
• 所提出的逐层剪枝方法在多数实际工作流中，其内存效率与非私有训练相当，每轮更新速度也几乎相同，显著降低了 DP-SGD 的计算开销。
• 采用学习到的阈值的自适应逐层剪枝在不增加内存或时间成本的前提下提升了模型效用，表明结合动态阈值的分组剪枝可超越平滑剪枝。