[论文解读] Distributed Privacy-Preserving Prediction.

Lingjuan Lyu, Yee Wei Law+1 more|arXiv (Cornell University)|Oct 25, 2019

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种分布式隐私保护预测（Distributed Privacy-Preserving Prediction, DPPP）框架，使不可信的聚合方能够在不访问原始数据或模型参数的情况下，结合多个模型的预测结果，该框架采用分布式差分隐私和同态加密技术。该框架在保持与非私有基线相当的性能的同时，提供了强大的隐私保障。

ABSTRACT

In privacy-preserving machine learning, individual parties are reluctant to share their sensitive training data due to privacy concerns. Even the trained model parameters or prediction can pose serious privacy leakage. To address these problems, we demonstrate a generally applicable Distributed Privacy-Preserving Prediction (DPPP) framework, in which instead of sharing more sensitive data or model parameters, an untrusted aggregator combines only multiple models' predictions under provable privacy guarantee. Our framework integrates two main techniques to guarantee individual privacy. First, we improve the previous analysis of the Binomial mechanism to achieve distributed differential privacy. Second, we utilize homomorphic encryption to ensure that the aggregator learns nothing but the noisy aggregated prediction. We empirically evaluate the effectiveness of our framework on various datasets, and compare it with other baselines. The experimental results demonstrate that our framework has comparable performance to the non-private frameworks and delivers better results than the local differentially private framework and standalone framework.

研究动机与目标

• 解决协作机器学习中因共享数据或模型参数而导致的隐私泄露问题。
• 实现在不泄露单个模型输出或参数的前提下，安全聚合多方的预测结果。
• 在聚合方不可信的分布式环境中提供可证明的隐私保障。
• 保持与非私有学习框架相当的高预测性能。
• 整合分布式差分隐私与同态加密，实现端到端的隐私保护。

提出的方法

• 该框架采用对二项分布机制的增强分析，实现在多方之间的分布式差分隐私。
• 利用同态加密，使聚合方能够在不获知个体贡献的情况下计算预测结果的噪声和。
• 各方使用二项分布机制计算本地私有的预测结果，确保个体隐私。
• 聚合方通过同态方式聚合这些噪声预测结果，整个过程保持隐私。
• 系统确保仅最终聚合的预测结果被公开，中间结果或个体数据均无泄露。
• 该框架设计具有通用性，适用于多种机器学习模型和数据集。

实验结果

研究问题

• RQ1 如何在分布式环境中实现安全且隐私保护的模型预测聚合？
• RQ2 我们能否在不共享原始数据或模型参数的前提下实现可证明的隐私保障？
• RQ3 将分布式差分隐私与同态加密结合使用，对预测准确率和系统性能有何影响？
• RQ4 在分布式预测场景中，隐私与效用之间的权衡关系如何？
• RQ5 与本地差分隐私和非私有基线相比，所提出的框架在准确率和隐私方面表现如何？

主要发现

• DPPP框架在多种数据集上的预测性能与非私有学习框架相当。
• 在准确率和隐私方面，其表现优于本地差分隐私框架和独立模型。
• 分布式差分隐私与同态加密的结合确保了聚合方仅能获取最终的噪声聚合预测结果。
• 通过在分布式环境中对二项分布机制进行严格分析，该框架提供了可证明的隐私保障。
• 实证评估证实，系统在保护个体隐私的同时保持了高实用性。
• 该方法具有通用适用性，无需信任聚合方，也无需共享敏感的模型参数。