[论文解读] Differential Privacy and Machine Learning: a Survey and Review

Zhanglong Ji, Zachary C. Lipton+1 more|arXiv (Cornell University)|Dec 24, 2014

Privacy-Preserving Technologies in Data参考文献 56被引用 193

一句话总结

本文综述了差分隐私机器学习，提出方法以在学习模型中平衡隐私与效用。文中介绍了噪声添加、模型修改、公共数据整合及迭代噪声等技术，用于实现私有学习，表明在特定条件下（如正则化模型中噪声缩放为 O(1/n)），隐私可实现而无需付出效用代价。

ABSTRACT

The objective of machine learning is to extract useful information from data, while privacy is preserved by concealing information. Thus it seems hard to reconcile these competing interests. However, they frequently must be balanced when mining sensitive data. For example, medical research represents an important application where it is necessary both to extract useful information and protect patient privacy. One way to resolve the conflict is to extract general characteristics of whole populations without disclosing the private information of individuals. In this paper, we consider differential privacy, one of the most popular and powerful definitions of privacy. We explore the interplay between machine learning and differential privacy, namely privacy-preserving machine learning algorithms and learning-based data release mechanisms. We also describe some theoretical results that address what can be learned differentially privately and upper bounds of loss functions for differentially private algorithms. Finally, we present some open questions, including how to incorporate public data, how to deal with missing data in private datasets, and whether, as the number of observed samples grows arbitrarily large, differentially private machine learning algorithms can be achieved at no cost to utility as compared to corresponding non-differentially private algorithms.

研究动机与目标

• 调和从数据中提取有用信息与保护个体隐私之间的冲突目标。
• 解决传统匿名化和 k-匿名性在防止敏感数据集背景攻击方面的局限性。
• 探索差分隐私如何融入分类、回归、聚类和降维等核心机器学习任务。
• 研究随着数据集规模增大，差分隐私是否可实现而无需损害模型效用。
• 考察开放挑战，如处理缺失数据、使用公共数据，以及为时间性或结构化医疗记录等非关系型数据设计私有机制。

提出的方法

• 使用差分隐私，定义为对个体数据更改的有界敏感性，以确保模型输出不泄露个体信息。
• 应用全局敏感性和拉普拉斯机制，向查询输出添加噪声，以在保护隐私的同时保持效用。
• 提议向底层计数（如朴素贝叶斯中的计数）添加噪声，而非对高敏感性导出值（如条件概率）添加，以减少噪声幅度。
• 引入模型转换（如将核 SVM 转换为线性 SVM），以降低敏感性并改善隐私-效用权衡。
• 利用来自相似人群的公共数据集，以减少私有学习机制中的噪声，提升效用。
• 考虑在优化路径中迭代添加噪声，其中每一步的敏感性低于最终模型的敏感性，从而可通过 MCMC 或类似方法实现私有训练。

实验结果

研究问题

• RQ1 能否设计出差分隐私机器学习算法，以在数据集规模增大时仍保持高效率？
• RQ2 在何种条件下可实现无成本的差分隐私，即隐私噪声随样本量增长而渐近小于样本随机噪声？
• RQ3 如何有效利用公共数据以增强差分隐私学习机制的性能？
• RQ4 在处理不完整、时间性或结构化数据（如医疗记录）时，应用差分隐私面临哪些挑战？
• RQ5 差分隐私目标与模型泛化能力在机器学习中在多大程度上相容？

主要发现

• 对于正则化逻辑回归和线性 SVM，差分隐私可通过噪声缩放为 O(1/n) 实现，该噪声量级渐近小于样本随机性带来的 O(1/√n) 噪声，因此在效用意义上隐私可视为‘免费’。
• 文献 [6] 中的机制实现了某些模型的无成本 ϵ-差分隐私，其中隐私噪声不会相对于非私有基线降低性能。
• 使用公共数据可提升差分隐私机制的性能，如 [28, 29] 所示，通过减少对私有数据处理中高噪声的需求。
• 向低敏感性组件（如原始计数）添加噪声，而非高敏感性导出值（如条件概率），可显著降低噪声幅度并提升效用。
• 在优化路径中迭代添加噪声，总敏感性可低于最终模型的敏感性，从而可通过基于 MCMC 的算法实现私有训练。
• 差分隐私与模型泛化相容：两者均旨在减少对单一样本的过拟合，表明隐私与学习鲁棒性之间存在天然协同效应。