[论文解读] Differentially-Private "Draw and Discard" Machine Learning

Vasyl Pihur, Aleksandra Korolova+5 more|arXiv (Cornell University)|Jul 11, 2018

Privacy-Preserving Technologies in Data参考文献 32被引用 28

一句话总结

本文提出了一种新型的客户端分布式框架——绘制与丢弃机器学习（DDML），通过在服务器端维护 k 个模型实例，随机采样并更新其中一例，同时丢弃过时版本，实现在异步、可扩展的机器学习中实现本地差分隐私。该方法确保了强大的隐私保障，通过模型平均提升了模型效用，并支持实际部署中的垃圾信息防护与系统韧性。

ABSTRACT

In this work, we propose a novel framework for privacy-preserving client-distributed machine learning. It is motivated by the desire to achieve differential privacy guarantees in the local model of privacy in a way that satisfies all systems constraints using asynchronous client-server communication and provides attractive model learning properties. We call it "Draw and Discard" because it relies on random sampling of models for load distribution (scalability), which also provides additional server-side privacy protections and improved model quality through averaging. We present the mechanics of client and server components of "Draw and Discard" and demonstrate how the framework can be applied to learning Generalized Linear models. We then analyze the privacy guarantees provided by our approach against several types of adversaries and showcase experimental results that provide evidence for the framework's viability in practical deployments.

研究动机与目标

• 设计一种实用、可扩展且私密的机器学习框架，适用于在本地差分隐私模型下的客户端分布式系统。
• 解决在数百万台设备上实现高效、异步模型训练的同时，维持强隐私保障的挑战。
• 提供一种支持垃圾信息检测、负载均衡与隐私放大且不牺牲模型效用的系统架构。
• 证明本地差分隐私在真实世界移动应用中的可行性，且性能开销极低。
• 在最小工程复杂度下，实现生产环境中隐私保护机器学习的部署。

提出的方法

• 该框架在服务器端维护 k 个独立的模型实例，客户端随机选择其中一例进行更新，以实现负载分发与可扩展性。
• 客户端使用拉普拉斯或高斯噪声对模型更新进行差分隐私处理，确保用户层面的本地差分隐私。
• 每个客户端随机选择一个模型实例进行更新，仅向服务器发送更新后的模型（而非原始梯度），从而增强服务器端的隐私保护。
• 服务器将随机选择的一个模型实例替换为更新后的版本，实现无需同步的持续、无锁训练。
• 对 k 个实例进行模型平均可稳定方差，相比单实例方法，显著提升有限样本下的性能。
• 系统通过采样与模型平均实现隐私放大，增强对弱于最强本地模型攻击者的隐私保障。

实验结果

研究问题

• RQ1 能否仅依赖本地差分隐私，不依赖可信可信方，构建一个实用、可扩展且私密的机器学习系统？
• RQ2 在异步、分布式环境中，如何高效且私密地聚合来自数百万客户端的模型更新？
• RQ3 维护多个模型实例对模型效用、隐私与系统韧性有何影响？
• RQ4 绘制与丢弃机制是否通过额外混淆与平均处理，提供强于标准本地差分隐私的隐私保障？
• RQ5 与替代的私密学习策略相比，该框架在真实世界部署中的表现如何？

主要发现

• DDML 通过在客户端模型更新中应用校准噪声，实现了纯本地差分隐私，确保即使在数据收集者攻击下也具备强隐私保障。
• 使用 k 个模型实例可实现无需同步或中断的持续异步训练，显著提升系统可扩展性与可用性。
• 对 k 个实例进行模型平均可稳定方差，相比单实例更新策略，显著提升有限样本下的性能。
• 由于仅传输更新后的模型（而非原始梯度），该框架增强了对弱于对手的隐私放大效果。
• 系统在真实世界部署中表现出实际可行性，且通过维护多个模型实例实现了垃圾信息检测能力。
• 该方法可扩展至神经网络及其他具有可微目标的模型，通过采用更先进的噪声分布或隐私松弛机制，有望进一步提升模型效用。