[论文解读] Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search

Yannis Cattan, Christopher A. Choquette-Choo+2 more|arXiv (Cornell University)|Oct 5, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出仅微调预训练模型的首层和末层，而非整个模型或仅末层，可显著改善差分隐私学习中的隐私-准确率权衡。通过减少DP-SGD中受噪声影响的可训练参数数量，该方法实现了最先进性能，包括在(ε=2, δ=10⁻⁵)-DP下于CIFAR-100上达到77.9%的准确率，相比之前方法最高提升3.2个百分点。

ABSTRACT

Models need to be trained with privacy-preserving learning algorithms to prevent leakage of possibly sensitive information contained in their training data. However, canonical algorithms like differentially private stochastic gradient descent (DP-SGD) do not benefit from model scale in the same way as non-private learning. This manifests itself in the form of unappealing tradeoffs between privacy and utility (accuracy) when using DP-SGD on complex tasks. To remediate this tension, a paradigm is emerging: fine-tuning with differential privacy from a model pretrained on public (i.e., non-sensitive) training data. In this work, we identify an oversight of existing approaches for differentially private fine tuning. They do not tailor the fine-tuning approach to the specifics of learning with privacy. Our main result is to show how carefully selecting the layers being fine-tuned in the pretrained neural network allows us to establish new state-of-the-art tradeoffs between privacy and accuracy. For instance, we achieve 77.9% accuracy for $(\varepsilon, δ)=(2, 10^{-5})$ on CIFAR-100 for a model pretrained on ImageNet. Our work calls for additional hyperparameter search to configure the differentially private fine-tuning procedure itself.

研究动机与目标

• 调查现有差分隐私微调方法是否针对私有学习的独特约束进行了优化。
• 解决DP-SGD中因模型规模增大而导致噪声缩放增加（sqrt(d)噪声增长）引起的表现退化问题。
• 探究选择性微调层是否能在无需额外超参数调优（除层选择外）的情况下缓解隐私-效用权衡问题。
• 通过最小的架构修改，在视觉基准上建立新的隐私-准确率性能最先进水平。

提出的方法

• 该方法涉及仅微调预训练神经网络的首层和末层，而保持其余所有层冻结。
• 该方法通过减少DP-SGD中受差分隐私噪声影响的总参数数量，从而降低有效噪声幅度。
• 作者采用标准DP-SGD，并将噪声缩放调整至剩余可训练参数，以维持(ε,δ)-DP保证。
• 该方法在与先前工作相同的实验设置下进行评估，包括相同的模型架构（28-10 Wide-ResNet）和数据集（CIFAR-10, CIFAR-100）。
• 该方法与两个基线进行比较：全模型微调和仅末层微调，其余所有超参数保持不变。

实验结果

研究问题

• RQ1 选择性地仅微调预训练模型的首层和末层是否能改善差分隐私学习中的隐私-准确率权衡？
• RQ2 在DP微调中减少可训练参数数量是否能缓解DP-SGD固有的噪声缩放问题？
• RQ3 首末层微调带来的性能提升是否在不同隐私预算和数据集上保持一致？
• RQ4 为何先前方法（微调全部或仅末层）的表现劣于这种选择性策略？

主要发现

• 所提出的首末层微调方法在(ε=2, δ=10⁻⁵)-DP下于CIFAR-100上实现了77.9%的top-1准确率，相比之前最先进水平74.7%提升3.2个百分点。
• 在CIFAR-10上，该方法在(ε=8, δ=10⁻⁵)-DP下实现了96.4%的准确率，优于全模型和仅末层微调基线。
• 在较低隐私预算下性能提升最为显著，在ε=1时CIFAR-100上提升达3.4个百分点。
• 在CIFAR-10和CIFAR-100的所有评估隐私预算下，该方法始终优于全模型和仅末层微调。
• 该性能提升未通过修改其他任何超参数实现，表明层选择是DP微调中此前被忽视的关键超参数。