[论文解读] Industrial Scale Privacy Preserving Deep Neural Network

Longfei Zheng, Chaochao Chen+7 more|arXiv (Cornell University)|Mar 11, 2020

Privacy-Preserving Technologies in Data参考文献 19被引用 19

一句话总结

该论文提出 P²N²，一种可扩展的隐私保护深度神经网络框架，适用于工业应用。数据持有方使用密码学技术在其数据上执行私有计算，而中立服务器负责处理非敏感层。该方法在真实世界的欺诈检测和财务困境预测数据集上实现了接近基线模型的准确率，且通过一种新型防御机制增强了对模型反演攻击的隐私保护。

ABSTRACT

Deep Neural Network (DNN) has been showing great potential in kinds of real-world applications such as fraud detection and distress prediction. Meanwhile, data isolation has become a serious problem currently, i.e., different parties cannot share data with each other. To solve this issue, most research leverages cryptographic techniques to train secure DNN models for multi-parties without compromising their private data. Although such methods have strong security guarantee, they are difficult to scale to deep networks and large datasets due to its high communication and computation complexities. To solve the scalability of the existing secure Deep Neural Network (DNN) in data isolation scenarios, in this paper, we propose an industrial scale privacy preserving neural network learning paradigm, which is secure against semi-honest adversaries. Our main idea is to split the computation graph of DNN into two parts, i.e., the computations related to private data are performed by each party using cryptographic techniques, and the rest computations are done by a neutral server with high computation ability. We also present a defender mechanism for further privacy protection. We conduct experiments on real-world fraud detection dataset and financial distress prediction dataset, the encouraging results demonstrate the practicalness of our proposal.

研究动机与目标

• 解决在大规模数据集和深层架构的现实工业场景中，密码学 DNN 的可扩展性限制问题。
• 在不共享数据的前提下实现安全的多方学习，保护隐私，适用于半诚实敌手模型。
• 通过将非私有计算卸载到可信服务器，同时将敏感数据和操作保留在数据持有方侧，实现隐私与效率的平衡。
• 通过防御机制增强隐私保护，防止对隐藏层表示的模型反演攻击。
• 在真实世界的金融数据集上验证该框架，证明其实际可行性和与非私有模型的性能一致性。

提出的方法

• 将 DNN 计算图分为两部分：由数据持有方使用密码学技术执行的私有数据相关层，以及由中立服务器处理的非私有层。
• 使用秘密共享和同态加密原语，在数据持有方侧安全计算隐藏表示。
• 将剩余的前向和反向传播任务委托给高性能中立服务器，以减轻各参与方的计算负载。
• 引入防御网络作为损失函数中的正则化组件，最小化从隐藏激活中重建私有输入的风险。
• 通过联合损失函数（结合交叉熵损失和防御损失）端到端优化完整模型，损失权重由超参数 λ 平衡。
• 在去中心化设置中实现该框架，每个节点持有私有数据，并在不交换数据的情况下协作训练共享模型。

实验结果

研究问题

• RQ1 隐私保护的 DNN 框架能否在大规模工业数据集和深层架构上实现可扩展性，同时保持强安全保证？
• RQ2 在多方 DNN 训练中，如何降低密码学技术带来的计算和通信开销？
• RQ3 防御机制在多大程度上能防止对隐藏层表示的模型反演攻击？
• RQ4 当通过超参数 λ 调节防御机制影响时，模型准确率与隐私保护之间的权衡如何？
• RQ5 所提出的框架能否在真实世界的金融数据集上实现与非私有 DNN 相当的性能？

主要发现

• P²N² 在真实世界的欺诈检测和财务困境预测数据集上，模型准确率与非私有基线模型相差不到 1%。
• 防御机制显著降低了私有输入恢复攻击的成功率，MNIST 数据集上的可视化对比显示，启用防御机制后恢复的数字更难辨认。
• 模型准确率在防御权重 λ 取适中值时达到峰值，当 λ 过大时性能下降，表明隐私与性能之间存在明确权衡。
• 运行时间随数据集规模呈次线性增长，证明其在大规模工业数据集上的实际可扩展性。
• 即使在服务器对私有输入和隐藏层具有部分访问权限的强攻击模型下，该框架依然保持鲁棒性，证实了防御机制的有效性。
• 该方法可在无需数据共享或信任服务器的前提下，实现在多方环境下的去中心化、隐私保护训练。