[论文解读] An Overview of Privacy in Machine Learning

Emiliano De Cristofaro|arXiv (Cornell University)|May 18, 2020

Privacy-Preserving Technologies in Data参考文献 52被引用 15

一句话总结

本文全面综述了机器学习中的隐私威胁，重点关注成员推断、模型反演、属性推断和模型盗取攻击。文章回顾了现有防御措施——尤其是差分隐私和对抗性正则化——同时指出了在评估、现实世界影响评估以及与 GDPR 等数据保护法规对齐方面的关键空白。

ABSTRACT

Over the past few years, providers such as Google, Microsoft, and Amazon have started to provide customers with access to software interfaces allowing them to easily embed machine learning tasks into their applications. Overall, organizations can now use Machine Learning as a Service (MLaaS) engines to outsource complex tasks, e.g., training classifiers, performing predictions, clustering, etc. They can also let others query models trained on their data. Naturally, this approach can also be used (and is often advocated) in other contexts, including government collaborations, citizen science projects, and business-to-business partnerships. However, if malicious users were able to recover data used to train these models, the resulting information leakage would create serious issues. Likewise, if the inner parameters of the model are considered proprietary information, then access to the model should not allow an adversary to learn such parameters. In this document, we set to review privacy challenges in this space, providing a systematic review of the relevant research literature, also exploring possible countermeasures. More specifically, we provide ample background information on relevant concepts around machine learning and privacy. Then, we discuss possible adversarial models and settings, cover a wide range of attacks that relate to private and/or sensitive information leakage, and review recent results attempting to defend against such attacks. Finally, we conclude with a list of open problems that require more work, including the need for better evaluations, more targeted defenses, and the study of the relation to policy and data protection efforts.

研究动机与目标

• 系统性地回顾机器学习中的隐私威胁，特别是在机器学习即服务（MLaaS）的背景下。
• 分析成员推断和模型反演等隐私攻击的可行性及其在现实世界中的影响。
• 从效用-隐私权衡的角度，评估现有防御机制（包括差分隐私和对抗性正则化）的有效性。
• 识别在评估框架、实际部署以及与 GDPR 等数据保护法规对齐方面的关键研究空白。
• 呼吁开展比标准基准数据集更严格、更真实的隐私防御评估。

提出的方法

• 对机器学习中的隐私攻击（包括成员推断、模型反演、属性推断以及模型/功能盗取）进行系统性文献回顾。
• 基于攻击者的模型和威胁场景对攻击进行分类，区分白盒、黑盒和基于查询的威胁模型。
• 回顾防御技术，如差分隐私（通过参数化噪声注入）、对抗性训练、Dropout、权重归一化以及梯度共享。
• 分析模型效用与隐私保护之间的权衡，特别是在差分隐私学习中，使用隐私预算（ε）和准确率损失等指标。
• 基于现有研究的实证结果评估防御措施的有效性，特别是 Jayaraman 和 Evans (2019) 关于 ε-效用权衡的研究。
• 将隐私攻击映射到法律框架，特别是 GDPR 的“单独识别”概念，以评估政策影响。

实验结果

研究问题

• RQ1 在现实世界的 MLaaS 部署中，成员推断攻击的有效性如何？哪些因素影响其成功率？
• RQ2 现有的防御措施（如差分隐私和对抗性正则化）在不降低模型效用的前提下，能在多大程度上缓解隐私泄露？
• RQ3 评估隐私防御措施的主要局限是什么？标准基准为何无法反映真实世界性能？
• RQ4 隐私攻击如何映射到 GDPR 等法规中关于识别和数据保护的法律定义？
• RQ5 在设计实用、有针对性且可评估的隐私保护机器学习系统方面，最紧迫的开放性问题是什么？

主要发现

• 成员推断攻击在实践中是可行且有效的，尤其在过拟合模型上表现突出，但其现实世界影响仍不明确，原因在于缺乏案例研究以及对攻击者先验知识的建模。
• 模型反演攻击能够重构敏感的训练数据，尤其在非私有模型中表现明显，但其成功率因模型架构和数据分布而异。
• 差分隐私机器学习通常面临严重的效用-隐私权衡：强隐私保护（ε 值低）会导致模型无法使用，而高效率（ε 值高）则仅提供微弱的隐私保障。
• 不存在适用于所有场景的通用防御方案；隐私与效用之间的权衡是上下文相关的，需要仔细调优与评估。
• 当前的评估实践存在不足——大多数研究依赖公开数据集和标准模型，无法反映真实世界的复杂性或部署条件。
• 迫切需要将技术隐私研究与政策框架对齐，特别是 GDPR 的“单独识别”概念，以确保技术和法律隐私的一致性。