[论文解读] Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent

Yu Da, Gautam Kamath+4 more|arXiv (Cornell University)|Jun 6, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文引入输出特定的$(\varepsilon,\delta)$-差分隐私，以量化在差分隐私随机梯度下降（DP-SGD）中不同个体的隐私保障，表明训练损失较高的样本所获得的隐私保护显著更弱。本文提出一种高效算法来估算个体隐私，揭示出模型效用较差的群体也面临更差的隐私保障，且在CIFAR-10数据集中，最低准确率类别的$\varepsilon$最高可达44.2%的提升。

ABSTRACT

Differentially private stochastic gradient descent (DP-SGD) is the workhorse algorithm for recent advances in private deep learning. It provides a single privacy guarantee to all datapoints in the dataset. We propose output-specific $(\varepsilon,δ)$-DP to characterize privacy guarantees for individual examples when releasing models trained by DP-SGD. We also design an efficient algorithm to investigate individual privacy across a number of datasets. We find that most examples enjoy stronger privacy guarantees than the worst-case bound. We further discover that the training loss and the privacy parameter of an example are well-correlated. This implies groups that are underserved in terms of model utility simultaneously experience weaker privacy guarantees. For example, on CIFAR-10, the average $\varepsilon$ of the class with the lowest test accuracy is 44.2\% higher than that of the class with the highest accuracy.

研究动机与目标

• 为解决传统DP-SGD的局限性，即对所有样本分配统一的最坏情况隐私边界，而忽略个体梯度大小的差异。
• 开发一种基于实际训练轨迹而非最坏情况假设的个性化隐私保障计算方法。
• 探究DP-SGD训练的机器学习模型中，隐私差异是否与效用差异相一致。
• 探讨个体隐私核算对隐私与公平性权衡在私有AI系统中的影响。

提出的方法

• 提出输出特定的$(\varepsilon,\delta)$-DP作为精细化的隐私概念，其依赖于每个样本的观测训练轨迹。
• 设计一种高效算法，通过分析训练路径上的梯度范数和噪声贡献来估算个体隐私参数。
• 采用对数拟合方法，建立个体隐私参数与最终训练损失之间相关性的模型。
• 将矩量会计框架适配至个体样本，利用训练过程中实际观测到的梯度大小。
• 在多个基准数据集（CIFAR-10、MNIST、UTKFace）上应用该方法，对每个样本进行隐私的实证评估。
• 通过成员推断攻击验证结果，确认更高的$\varepsilon$对应更高的实际隐私风险。

实验结果

研究问题

• RQ1 在DP-SGD训练中，不同样本是否获得相同的隐私保障？是否存在因梯度范数较小而获得更强隐私保护的样本？
• RQ2 样本的最终训练损失与其个体隐私参数$\varepsilon$之间是否存在可测量的相关性？
• RQ3 在模型效用方面表现较差的群体，是否在DP-SGD下也面临更弱的隐私保障？
• RQ4 个体隐私核算能否揭示出最坏情况DP边界所未能捕捉到的隐藏公平性差异？
• RQ5 在支持数据删除的系统中，部署个体隐私参数对现实世界隐私与公平性的影响如何？

主要发现

• 在CIFAR-10上，'Cat'类别（测试准确率最低）的平均$\varepsilon$比准确率最高的'Automobile'类别高出44.2%。
• 在UTKFace-Gender上，'Asian'群体（测试准确率最低）的平均$\varepsilon$比准确率最高的'Indian'群体高出35.1%。
• 在所有数据集中，个体隐私参数与最终训练损失的对数之间均存在强烈的对数相关性（皮尔逊相关系数>0.9）。
• 训练损失较高的样本，其隐私参数$\varepsilon$始终更高，表明学习效果较差的样本面临更大的隐私风险。
• 效用较差的群体也面临更差的隐私保障，揭示了公平性与隐私方面的同时不平等。
• 成员推断攻击证实，更高的$\varepsilon$值对应更高的实际隐私风险，验证了个体隐私核算的实际相关性。