[论文解读] A Critical Review on the Use (and Misuse) of Differential Privacy in Machine Learning

Alberto Blanco-Justicia, David Sánchez+2 more|arXiv (Cornell University)|Jun 9, 2022

Privacy-Preserving Technologies in Data被引用 16

一句话总结

本文批判性地评估了机器学习中差分隐私（DP）的使用，认为大多数实现参数设置过于宽松，无法兑现DP的理论隐私保证。相反，它们退化为简单的噪声添加——在功能上等同于传统的统计披露控制——仅提供事后的隐私保护，而非DP所承诺的事先保证，且在效用和效率方面表现不如标准的过拟合缓解技术。

ABSTRACT

We review the use of differential privacy (DP) for privacy protection in machine learning (ML). We show that, driven by the aim of preserving the accuracy of the learned models, DP-based ML implementations are so loose that they do not offer the ex ante privacy guarantees of DP. Instead, what they deliver is basically noise addition similar to the traditional (and often criticized) statistical disclosure control approach. Due to the lack of formal privacy guarantees, the actual level of privacy offered must be experimentally assessed ex post, which is done very seldom. In this respect, we present empirical results showing that standard anti-overfitting techniques in ML can achieve a better utility/privacy/efficiency trade-off than DP.

研究动机与目标

• 调查机器学习中的差分隐私（DP）是否兑现了其理论上的隐私承诺。
• 评估基于DP的机器学习与标准防过拟合技术相比的实际效用与隐私权衡。
• 评估在现实世界机器学习应用中，常用DP参数化方式（如ε > 1）的有效性。
• 挑战DP是机器学习隐私领域黄金标准的说法，尤其是在使用如(ε,δ)-DP等松弛形式时。
• 指出大多数DP-ML研究缺乏对实际隐私的实证评估，尽管缺乏正式保证。

提出的方法

• 作者分析了DP-SGD，即训练DP-ML模型的标准算法，重点关注梯度裁剪和噪声注入。
• 通过迭代实验校准噪声水平（σ），以实现目标ε值，模拟以效用为导向的方法。
• 从测试准确率、训练时间及隐私保护角度，将DP-SGD与标准机器学习技术（如权重衰减、Dropout）进行比较。
• 利用DP与随机响应之间的联系，解释高ε值（如ε = 0.1）所提供的实际隐私水平。
• 评估DP-SGD在深度模型上的可扩展性，指出当ε过低时，准确率会达到随机猜测的上限。
• 分析微批次大小对DP-SGD训练效率及准确率损失的影响。

实验结果

研究问题

• RQ1 当前机器学习中差分隐私的实现是否真正提供了DP模型所承诺的事先隐私保证？
• RQ2 与标准的过拟合缓解技术相比，DP-ML的实际隐私-效用-效率权衡如何？
• RQ3 常用隐私参数（如ε = 0.1）与理论上安全的值（ε ≤ 1）相比，在现实世界隐私保护中的表现如何？
• RQ4 为何大多数DP-ML研究在缺乏正式保证的情况下仍省略对实际隐私的实证评估？
• RQ5 标准机器学习技术（如权重衰减和Dropout）是否能比DP-SGD实现更好的隐私-效用权衡？

主要发现

• 大多数DP-ML实现使用的隐私参数（如ε = 0.1）远低于理论安全阈值（ε ≤ 1），导致正式隐私保证失效。
• 这些实现所提供的实际隐私保护等同于传统噪声添加，而非真正的差分隐私，必须事后评估，而非事前保证。
• 用于实现目标ε（如ε = 0.1）的迭代校准过程，与官方统计学中的效用优先方法一致，而非DP的隐私优先设计模型。
• 标准防过拟合技术（如权重衰减和Dropout）在效用-隐私-效率权衡上优于DP-SGD，且训练成本显著更低。
• 当ε过低时，DP-SGD会导致准确率上限约为类别数的倒数（即随机猜测水平），使复杂模型无法使用。
• 由于每实例梯度裁剪，DP-SGD的训练速度比基线方法慢15至40倍，从而抵消了GPU批量处理的优势。