[论文解读] Differentially private cross-silo federated learning

Mikko Heikkilä, Antti Koskela+3 more|arXiv (Cornell University)|Jul 10, 2020

Privacy-Preserving Technologies in Data参考文献 40被引用 22

一句话总结

本文提出了一种基于加法同态安全求和与分布式子采样的差分隐私跨孤岛联邦学习方法，用于训练深度神经网络等复杂模型，同时确保强大的隐私保障。通过优化的密码协议和随机投影实现通信效率，即使在大规模场景下，也能在合理运行时间内实现与非分布式设置相当的准确率。

ABSTRACT

Strict privacy is of paramount importance in distributed machine learning. Federated learning, with the main idea of communicating only what is needed for learning, has been recently introduced as a general approach for distributed learning to enhance learning and improve security. However, federated learning by itself does not guarantee any privacy for data subjects. To quantify and control how much privacy is compromised in the worst-case, we can use differential privacy. In this paper we combine additively homomorphic secure summation protocols with differential privacy in the so-called cross-silo federated learning setting. The goal is to learn complex models like neural networks while guaranteeing strict privacy for the individual data subjects. We demonstrate that our proposed solutions give prediction accuracy that is comparable to the non-distributed setting, and are fast enough to enable learning models with millions of parameters in a reasonable time. To enable learning under strict privacy guarantees that need privacy amplification by subsampling, we present a general algorithm for oblivious distributed subsampling. However, we also argue that when malicious parties are present, a simple approach using distributed Poisson subsampling gives better privacy. Finally, we show that by leveraging random projections we can further scale-up our approach to larger models while suffering only a modest performance loss.

研究动机与目标

• 在跨孤岛联邦学习设置中，实现对复杂机器学习模型的隐私保护训练，并提供强大的差分隐私保障。
• 解决在数据来源必须保持隐藏的分布式环境中，实现子采样带来的隐私放大挑战。
• 通过安全多方计算与随机投影，降低差分隐私联邦学习中的计算与通信开销。
• 评估在可信执行环境（TEEs）支持下的大规模分布式学习中，隐私、准确率与效率之间的权衡。
• 证明即使对于包含数百万参数的模型，实用、可扩展且准确的差分隐私联邦学习（DP-FL）也是可行的。

提出的方法

• 结合加法同态安全多方计算（SMC）与差分隐私，实现跨孤岛联邦学习中模型更新的安全聚合。
• 提出一种新颖的无感知分布式子采样算法，支持任意采样方案，包括无放回采样与泊松采样。
• 采用分布式泊松采样方案，作为在存在恶意方时比复杂无放回采样更具鲁棒性的替代方案。
• 利用随机投影将模型梯度压缩为低维嵌入，降低通信与加密成本。
• 使用可信执行环境（TEEs）作为额外安全层，防范侧信道攻击与内存访问泄露。
• 应用子采样带来的隐私放大机制，以减少每次更新的隐私预算，从而增强整体差分隐私保障。

实验结果

研究问题

• RQ1 能否在强隐私保障下，将差分隐私联邦学习高效扩展至跨孤岛设置中的大模型？
• RQ2 在存在恶意方的情况下，泊松采样与无放回采样的选择如何影响隐私保护效果？
• RQ3 随机投影在多大程度上能保持模型效用，同时降低DP-FL中的通信与计算开销？
• RQ4 在使用安全多方计算与分布式子采样时，隐私、准确率与运行时间之间的权衡如何？
• RQ5 所提出的方法在实际中能否实现接近非分布式DP训练的性能？

主要发现

• 所提出的DP-SMC方法即使在分布式噪声生成条件下，其预测准确率也与可信中心聚合器无异。
• 在8个计算节点下，该方法将总运行时间最多减少10倍，且对准确率影响极小，可实现约100万参数模型的可扩展训练。
• 在存在恶意方时，分布式泊松采样提供的隐私保障优于复杂无放回采样。
• 即使加密通信量减少1000倍，维度低至k=100的随机投影仍能将测试准确率保持在全模型的1%-2%以内。
• 该方法可扩展至约9×10^5参数的模型，并在可接受的准确率损失与合理运行时间下实现(1.7, 10^-5)-DP。
• 完整系统（包含SMC与子采样）可在严格隐私保护下实现深度神经网络的实用高效训练。