[论文解读] Privacy-Preserving Deep Learning for any Activation Function.

Le Trieu Phong, Tran Thi Phuong|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data参考文献 17被引用 13

一句话总结

该论文提出了一种隐私保护的深度学习框架，允许多方在不共享原始数据的情况下，通过随机梯度下降（SGD）协同训练神经网络。该框架支持任意激活函数，仅共享模型权重而非梯度，并且即使除一个参与方外其余所有参与方合谋，也能确保安全性，实现与标准SGD相同的准确率，同时保护隐私。

ABSTRACT

This paper considers the scenario that multiple data owners wish to apply a machine learning method over the combined dataset of all owners to obtain the best possible learning output but do not want to share the local datasets owing to privacy concerns. We design systems for the scenario that the stochastic gradient descent (SGD) algorithm is used as the machine learning method because SGD (or its variants) is at the heart of recent deep learning techniques over neural networks. Our systems differ from existing systems in the following features: {\bf (1)} any activation function can be used, meaning that no privacy-preserving-friendly approximation is required; {\bf (2)} gradients computed by SGD are not shared but the weight parameters are shared instead; and {\bf (3)} robustness against colluding parties even in the extreme case that only one honest party exists. We prove that our systems, while privacy-preserving, achieve the same learning accuracy as SGD and hence retain the merit of deep learning with respect to accuracy. Finally, we conduct several experiments using benchmark datasets, and show that our systems outperform previous system in terms of learning accuracies.

研究动机与目标

• 在不暴露私有本地数据集的前提下，实现跨多个数据拥有者的协同深度学习。
• 支持任意激活函数，而无需依赖隐私保护近似方法。
• 确保对合谋参与方的防护，即使仅存在一个诚实参与方也具备安全性。
• 保持与标准SGD相同的训练准确率，以保留深度学习的性能优势。
• 设计一种仅共享模型权重而非梯度的系统，以降低信息泄露风险。

提出的方法

• 利用安全多方计算（MPC）框架，在每个数据拥有者本地安全地计算梯度。
• 仅在各参与方之间共享更新后的模型权重，而非梯度，以最小化信息泄露。
• 采用秘密共享和同态加密技术，保护中间计算过程和模型权重。
• 通过安全计算非线性变换，无需近似或泄露信息，从而支持任意激活函数。
• 设计对合谋具备鲁棒性的协议，确保即使存在多个恶意参与方，诚实参与方的数据仍保持私密。
• 将系统与标准SGD训练循环集成，以保持兼容性与准确率。

实验结果

研究问题

• RQ1 隐私保护的深度学习系统是否能够支持任意激活函数，而无需近似或修改？
• RQ2 仅共享模型权重而非梯度是否能在保持训练准确率的同时提升隐私保护？
• RQ3 当除一个参与方外其余所有参与方合谋时，系统是否仍能保持安全？
• RQ4 该系统在实际中是否能达到与标准SGD相同的训练准确率？
• RQ5 与以往的隐私保护方法相比，该系统在模型准确率和可扩展性方面表现如何？

主要发现

• 所提出的系统在多个基准数据集上实现了与标准SGD相同的训练准确率，证实隐私保护不会以性能为代价。
• 该系统无需依赖隐私保护近似方法，即可支持任意激活函数，而以往工作通常对激活函数施加限制或进行修改。
• 通过仅共享模型权重而非梯度，系统显著降低了信息泄露风险，增强了隐私保障。
• 即使在极端情况下（仅一个诚实参与方，其余全部合谋），系统仍能保持安全，展现出强大的抗合谋能力。
• 实验结果表明，该系统在标准基准测试上的最终模型准确率优于以往的隐私保护系统。