[论文解读] A generic framework for privacy preserving deep learning

Théo Ryffel, Andrew Trask+5 more|arXiv (Cornell University)|Nov 9, 2018

Cryptography and Data Security参考文献 2被引用 341

一句话总结

本文提出基于 PySyft 的抽象，以在 PyTorch 风格的 API 中实现隐私保护深度学习（联邦学习、安全多方计算和差分隐私），包括张量链模型和基于 SPDZ 的 MPC 与 DP 集成，并在 Boston Housing 和 Pima Indians Diabetes 数据集上给出实验结果。

ABSTRACT

We detail a new framework for privacy preserving deep learning and discuss its assets. The framework puts a premium on ownership and secure processing of data and introduces a valuable representation based on chains of commands and tensors. This abstraction allows one to implement complex privacy preserving constructs such as Federated Learning, Secure Multiparty Computation, and Differential Privacy while still exposing a familiar deep learning API to the end-user. We report early results on the Boston Housing and Pima Indian Diabetes datasets. While the privacy features apart from Differential Privacy do not impact the prediction accuracy, the current implementation of the framework introduces a significant overhead in performance, which will be addressed at a later stage of the development. We believe this work is an important milestone introducing the first reliable, general framework for privacy preserving deep learning.

研究动机与目标

• 提出一个标准化协议，以在工作节点之间实现联邦学习。
• 提出一个张量链抽象（SyftTensor），以支持隐私保护操作。
• 在框架内实现 MPC（SPDZ）和差分隐私。
• 提供一个可扩展的架构，能够插入新的 FL、MPC 或 DP 方法。
• 通过标准数据集的初步实验来演示可行性。

提出的方法

• 定义一个张量链抽象（SyftTensor），具有 LocalTensor 和 PointerTensor，以实现链接操作和远程数据共享。
• 实现虚拟和网络化工作节点（Virtual、Socket、WebSocket），以模拟和部署 FL 场景。
• 开发一个 MPCTensor，使用 SPDZ 协议及固定精度编码以实现 MPC 兼容性。
• 结合梯度裁剪和高斯噪声的差分隐私，采用面向联邦学习的 SGD 程序。
• 使用 FixedPrecisionTensor 将浮点数据适配为用于基于整数的 MPC 计算。
• 提供与现有隐私分析兼容的 DP 计账和净化（参考工作）。

实验结果

研究问题

• RQ1 一个统一的张量链框架是否能够在类似 PyTorch 的 API 下支持隐私保护技术（FL、MPC、DP）？
• RQ2 在该框架中，在联邦学习中应用 MPC 和 DP 时，性能和准确性的权衡是什么？
• RQ3 如何通过虚拟工作节点和不同的网络后端（Socket、WebSocket）促进调试和基于浏览器的 FL 实验？
• RQ4 基于 SPDZ 的 MPC 和高斯噪声的 DP 在在标准数据集上保持模型质量的同时，隐私保护效果如何？

主要发现

Training setting	Training time (s)	Notes
PySyft (Virtual)	10.1
PySyft (Socket)	14.6
PySyft (Virtual) + DP*	15.3
Pure PyTorch	0.22

• 该框架在 PyTorch 工作流中实现了隐私保护的深度学习技术（FL、MPC、DP）。
• 使用 DP 的训练开销较大（在 Boston Housing 数据集上，DP 为 15.3 s，相比无 DP 的 10.1 s），且准确率/均方误差会受隐私参数影响。
• 在 Boston Housing 和 Pima Indian Diabetes 上的实验显示，DP 能在不同设置下实现隐私保证（0.5, 1e-5），MSE 约 29-30，Pima 准确率约 60-70%。
• 基于 WebSocket 的和 Virtual Workers 的开销可接受，验证了用笔记本进行 FL 实验的可行性。
• 基于 SPDZ 的 MPC 支持安全份额和固定精度编码，使在框架内实现 MPC 支持的神经计算成为可能。