[论文解读] Assessing differentially private deep learning with Membership Inference

Daniel Bernau, Philip-William Grassal+2 more|arXiv (Cornell University)|Dec 24, 2019

Privacy-Preserving Technologies in Data参考文献 38被引用 16

一句话总结

本文通过成员推理（MI）攻击评估本地差分隐私（LDP）与中心差分隐私（CDP）在深度学习中的隐私-准确率权衡。尽管隐私参数ε存在显著差异，LDP与CDP在抵御MI攻击方面提供了相似的保护，表明LDP是隐私保护深度学习中CDP的可行替代方案。

ABSTRACT

Attacks that aim to identify the training data of public neural networks represent a severe threat to the privacy of individuals participating in the training data set. A possible protection is offered by anonymization of the training data or training function with differential privacy. However, data scientists can choose between local and central differential privacy and need to select meaningful privacy parameters $ε$ which is challenging for non-privacy experts. We empirically compare local and central differential privacy mechanisms under white- and black-box membership inference to evaluate their relative privacy-accuracy trade-offs. We experiment with several datasets and show that this trade-off is similar for both types of mechanisms. This suggests that local differential privacy is a sound alternative to central differential privacy for differentially private deep learning, since small $ε$ in central differential privacy and large $ε$ in local differential privacy result in similar membership inference attack risk.

研究动机与目标

• 评估并比较本地差分隐私（LDP）与中心差分隐私（CDP）在抵御深度学习中成员推理（MI）攻击方面的有效性。
• 解决数据科学家在选择差分隐私参数ε时面临的挑战，特别是当缺乏隐私保护技术专业知识时。
• 评估LDP（通常因ε值较高而被认为准确率较低）是否能在较低ε值的CDP下提供与CDP相当的隐私保护，尤其在真实世界MI攻击场景下。
• 在绝对ε值之外分析相对隐私-准确率权衡，提出基于比率的度量φ以比较LDP与CDP机制。
• 证明隐私-准确率权衡并非随ε线性变化，且在不同数据集和MI假设下存在显著差异，挑战CDP普遍更优的假设。

提出的方法

• 在包括用户矩阵、社交图、人脸识别和健康数据在内的多样化数据集上，通过白盒和黑盒成员推理攻击实证评估LDP与CDP机制。
• 使用差分隐私随机梯度下降（DP-SGD）和DP-Adam作为CDP优化器，采用本地扰动机制实现LDP，并在广泛范围内调整隐私参数ε。
• 通过成员推理攻击的受试者工作特征曲线下面积（AUC）衡量隐私保护水平，将其视为推理风险的下限。
• 以测试准确率为实用度量，并计算相对隐私-准确率权衡比率φ，以在不同数据集和ε值下比较LDP与CDP。
• 在标准参考模型（如前馈网络和图神经网络）上进行实验，使用TensorFlow Privacy库进行实现。
• 分析ε与隐私-准确率权衡之间的非线性关系，识别隐私增益超过准确率损失的特定区间。

实验结果

研究问题

• RQ1 在成员推理攻击下，本地与中心差分隐私机制在隐私-准确率权衡方面如何比较？
• RQ2 高ε值的本地差分隐私是否能提供与低ε值的中心差分隐私相当的成员推理攻击防护？
• RQ3 隐私-准确率权衡是否随ε值呈线性关系？是否存在隐私保护改善幅度远超准确率损失的特定区间？
• RQ4 相对隐私-准确率权衡比率φ能否作为跨不同数据集比较LDP与CDP机制的有意义度量？
• RQ5 CDP的性能是否始终优于LDP？还是该权衡取决于数据分布和MI攻击假设？

主要发现

• 尽管隐私参数ε差异显著，LDP与CDP在使用成员推理AUC评估时表现出相似的隐私-准确率权衡。
• LDP的高ε值与CDP的低ε值在成员推理攻击风险方面达到可比水平，表明LDP是CDP的可行替代方案。
• 隐私-准确率权衡并非随ε线性变化；相反，存在特定区间，其中隐私保护的提升远超准确率的下降。
• CDP并未始终优于LDP；相对性能取决于数据集和成员推理攻击的假设。
• 相对隐私-准确率权衡比率φ表明，对每个数据集而言，均存在一个狭窄范围，使隐私增益显著超过准确率损失。
• LDP具有实际优势，如避免对模型集成进行隐私会计计算，且在优化器选择上更具灵活性，尽管ε值较高，仍具吸引力。