[论文解读] DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy?

Archit Uniyal, Rakshit Naidu+5 more|arXiv (Cornell University)|Jun 22, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用 5

一句话总结

本文在类别不平衡的数据集上比较了两种不同的差分隐私深度学习方法——DP-SGD与PATE，发现PATE对少数类别的影响显著小于DP-SGD。尽管两种方法均导致代表性不足群体的模型效用下降，但PATE由于采用基于集成的训练方式，并且仅在学生模型聚合阶段添加噪声，因此在这些类别上保持了更高的准确率，展现出更鲁棒且更公平的子群体性能。

ABSTRACT

Recent advances in differentially private deep learning have demonstrated that application of differential privacy, specifically the DP-SGD algorithm, has a disparate impact on different sub-groups in the population, which leads to a significantly high drop-in model utility for sub-populations that are under-represented (minorities), compared to well-represented ones. In this work, we aim to compare PATE, another mechanism for training deep learning models using differential privacy, with DP-SGD in terms of fairness. We show that PATE does have a disparate impact too, however, it is much less severe than DP-SGD. We draw insights from this observation on what might be promising directions in achieving better fairness-privacy trade-offs.

研究动机与目标

• 探究PATE是否如同DP-SGD一样，在类别不平衡数据集中对代表性不足与代表性充分的子群体表现出模型准确率的差异性影响。
• 比较DP-SGD与PATE在少数类别上的公平性-隐私权衡，评估其效用损失。
• 分析PATE中教师模型数量对不平衡类别准确率与公平性的影响。
• 识别PATE在保持少数子群体效用方面优于DP-SGD的条件。

提出的方法

• 作者在MNIST和SVHN数据集的类别不平衡版本上，使用DP-SGD和PATE训练模型，并设置不同的隐私预算（ε）。
• 对于DP-SGD，噪声在每次权重更新时添加到裁剪后的梯度上，隐私损耗通过矩量会计（moments accountant）进行追踪。
• 对于PATE，使用50个教师模型在数据的互不重叠子集上进行训练，学生模型则在教师模型的噪声聚合预测结果上进行训练。
• 通过改变教师模型的数量（1、10、50、100、250）来研究其对公平性与准确率的影响。
• 在5个随机种子下进行实验，报告每个类别（特别是少数类别8）的平均准确率及标准差。
• 在SVHN上使用ResNet-18，在MNIST上使用小型CNN，以确保在不同网络架构下的可比性。

实验结果

研究问题

• RQ1 PATE是否对代表性不足的子群体表现出与DP-SGD类似的模型准确率差异性影响？
• RQ2 在不同隐私预算（ε）下，PATE在少数类别上的效用与DP-SGD相比如何？
• RQ3 教师模型数量对PATE在类别不平衡数据上的公平性与准确率有何影响？
• RQ4 为何PATE在少数类别上的准确率比DP-SGD更稳定且更高？

主要发现

• 在MNIST数据集上，当ε = 0.5时，PATE在类别8（不平衡类别）上的准确率超过DP-SGD的两倍。
• 随着ε从0.5增加到15，DP-SGD在少数类别8上的准确率显著下降，而PATE保持了稳定且更高的性能。
• 在SVHN上，两种方法在不平衡类别上的平均准确率均较低（<5%），但PATE在各次运行中的标准差小得多，表明其鲁棒性更强。
• 消融实验表明，10个教师模型提供了最佳平衡，当教师数量过少（n=1）或过多（n=50、100、250）时，性能均下降，原因分别为过拟合或每个教师的数据不足。
• PATE在各次运行中表现更一致，所有类别（尤其是少数类别）的准确率标准差更低。
• 本研究证实，PATE减轻了DP-SGD中常见的“越差越差”效应，使其成为在类别不平衡数据上进行隐私保护学习的更公平选择。