[论文解读] Crowd-ML: A Privacy-Preserving Learning Framework for a Crowd of Smart Devices

Jihun Hamm, Adam C. Champion+3 more|arXiv (Cornell University)|Jan 11, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 1被引用 13

一句话总结

Crowd-ML 是一种保护隐私的分布式机器学习框架，使一群智能设备能够通过差分隐私随机梯度下降协作训练分类器。它通过在梯度上注入本地噪声以及使用指数机制，实现强大的隐私保障，同时计算开销极低，并在真实智能手机和模拟环境中表现出可扩展的性能。

ABSTRACT

Smart devices with built-in sensors, computational capabilities, and network connectivity have become increasingly pervasive. The crowds of smart devices offer opportunities to collectively sense and perform computing tasks in an unprecedented scale. This paper presents Crowd-ML, a privacy-preserving machine learning framework for a crowd of smart devices, which can solve a wide range of learning problems for crowdsensing data with differential privacy guarantees. Crowd-ML endows a crowdsensing system with an ability to learn classifiers or predictors online from crowdsensing data privately with minimal computational overheads on devices and servers, suitable for a practical and large-scale employment of the framework. We analyze the performance and the scalability of Crowd-ML, and implement the system with off-the-shelf smartphones as a proof of concept. We demonstrate the advantages of Crowd-ML with real and simulated experiments under various conditions.

研究动机与目标

• 通过将差分隐私集成到学习管道中，解决现有众包感知系统缺乏正式隐私保障的问题。
• 在不传输原始传感器数据的情况下，实现在分布式智能设备上的可扩展、实时学习。
• 最小化设备和服务器的计算与通信开销，以支持大规模部署。
• 通过优化的噪声注入机制，在强隐私约束（ε-差分隐私）下保持高模型准确率。
• 使用市售智能手机和真实世界数据集（如 CIFAR-10 和 MNIST）证明其实际可行性。

提出的方法

• 通过一种随机（次）梯度下降（SGD）的变体实现分布式增量优化，以去中心化方式训练分类器。
• 在每个设备上对梯度更新应用拉普拉斯噪声，以在本地层面实现 ε-差分隐私。
• 使用指数机制对辅助信息（如误差率、类别先验）进行扰动，对学习性能影响最小。
• 将隐私预算分配给梯度（εg）、误差估计（εe）和类别先验估计（εyk），其中 ε ≈ εg，因为 εe 和 εyk 的贡献可忽略。
• 依赖本地计算：设备从自身数据计算梯度，并仅向服务器发送噪声梯度。
• 在服务器端聚合噪声梯度以更新全局模型，避免传输原始数据或标签。

Figure 1: Crowd-ML consists of a server and a number of smart devices. The system integrates sensing, learning, and privacy mechanisms together, to learn a classifier or predictor from device-generated data in an online and distributed way, with formal privacy guarantees.

实验结果

研究问题

• RQ1 能否设计一种分布式学习框架，在众包感知系统中保护用户隐私，同时不牺牲模型准确率？
• RQ2 将差分隐私集成到分布式 SGD 框架中，对学习性能和可扩展性有何影响？
• RQ3 在使用智能手机的真实世界部署中，隐私（ε）与模型准确率之间的权衡如何？
• RQ4 通信延迟和不同小批量大小如何影响系统的收敛性和鲁棒性？
• RQ5 该框架能否在资源受限的移动设备上高效运行，同时维持强隐私保障？

主要发现

• Crowd-ML 通过在梯度上应用拉普拉斯噪声以及对辅助统计量使用指数机制，实现 ε-差分隐私，其中 ε ≈ εg，因为误差和先验估计的贡献可忽略。
• 该框架在真实智能手机上表现出可扩展性能，计算开销极低，通信成本也较低。
• 在手写数字识别任务（MNIST）中，Crowd-ML 在 ε⁻¹ = 0.1 时达到约 0.1 的测试误差，与非私有的集中式学习相当。
• 对于更复杂的 CIFAR-10 物体识别任务，相同隐私预算下测试误差上升至约 0.3，反映出该数据集的更高难度。
• 即使在通信延迟和小批量大小变化的情况下，系统仍能保持稳定的收敛性，隐私保护机制有效维持了模型效用。
• 实验表明，随着小批量数量的增加，误差率和类别先验估计几乎必然收敛到真实值，这是由于噪声具有零均值和有界方差。

Figure 2: Crowd-ML workflow. 1. A device preprocesses sensory data and generates a sample(s). 2. When the number of samples $\{(x,y)\}$ exceeds a certain number, the device requests current model parameters $w$ from the server. 3. The server authenticate the device and sends $w$ . 4. Using $w$ and $