[论文解读] No Peek: A Survey of private distributed deep learning

Praneeth Vepakomma, Tristan Swedish+3 more|arXiv (Cornell University)|Dec 8, 2018

Privacy-Preserving Technologies in Data参考文献 10被引用 46

一句话总结

本论文综述无窥探（no-peek）分布式深度学习方法（splitNN、联邦学习和大批量 SGD），并分析它们的数据泄露风险、资源成本和未来方向，包括隐私增强技术如 DP、HE 和 MPC。

ABSTRACT

We survey distributed deep learning models for training or inference without accessing raw data from clients. These methods aim to protect confidential patterns in data while still allowing servers to train models. The distributed deep learning methods of federated learning, split learning and large batch stochastic gradient descent are compared in addition to private and secure approaches of differential privacy, homomorphic encryption, oblivious transfer and garbled circuits in the context of neural networks. We study their benefits, limitations and trade-offs with regards to computational resources, data leakage and communication efficiency and also share our anticipated future trends.

研究动机与目标

• 在分布式深度学习中定义无窥探（no peek）概念，即原始客户端数据不被共享。
• 对分布式学习方法（splitNN、联邦学习、大批量 SGD）在数据泄露、模型暴露和资源方面进行比较。
• 讨论隐私增强技术（差分隐私、同态加密、MPC）及其与无-peek 方法的集成。
• 突出在医疗、金融和分布式系统中的实际部署的权衡与未来趋势。

提出的方法

• 按保护级别对分布式深度学习方法进行分类（数据、中间表达、模型细节）。
• 基于数据暴露和体系结构保密性评估 splitNN、联邦学习和大批量 SGD 的无窥探特性。
• 比较各方法的资源需求（计算、带宽、内存、同步），并讨论 splitNN 的效率优势。
• 总结隐私增强方法（DP、HE、MPC）及其在私有 DL 中的适用性。
• 提供未来方向以及将无窥探方法与 DP、HE 和 MPC 相结合的潜在混合方法。

实验结果

研究问题

• RQ1 不同分布式深度学习技术在输入数据、中间表示和模型参数方面提供的保护级别有哪些？
• RQ2 splitNN、联邦学习和大批量 SGD 在数据泄露风险和资源效率方面的比较如何？
• RQ3 哪些隐私保护技术可以与无窥探学习集成，以在不牺牲效用的前提下提升安全保障？
• RQ4 私人分布式深度学习的实际未来方向和领域应用是什么？

主要发现

• SplitNN 通过不共享模型架构或权重提供最强保护，而联邦学习和大批量 SGD 共享更多信息（梯度、激活、权重）。
• SplitNN 通常需要最低的客户端资源（计算、带宽、内存），在多客户端的实验中比另外两种方法实现更高的准确性。
• 当客户端数据非独立同分布（non-IID）时，联邦学习可能存在数据泄露风险，并且对客户端资源的需求更高；大批量 SGD 具有非常高的带宽和计算需求。
• 将无窥探方法与差分隐私、同态加密或 MPC 相结合的混合方法被确定为实现更强隐私保障的有前景的未来方向。
• 与大批量 SGD 相比，联邦学习和 SplitNN 在通信和计算方面显示出不同的权衡，其中 SplitNN 实现了显著的客户端侧效率。
• 在 CIFAR-10/100 上使用 VGG/ResNet 架构的经验比较显示 SplitNN 在客户端资源方面具有显著优势。