[论文解读] Computation-efficient Deep Model Training for Ciphertext-based Cross-silo Federated Learning

Xue Yang, Yan Feng+5 more|arXiv (Cornell University)|Feb 23, 2020

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种计算高效的深度学习框架，用于基于密文的跨池联邦学习，通过一种新颖的一次一密风格加密方法，支持非线性激活函数和十进制算术运算，实现对加密模型的直接计算。结合秘密共享技术，该方案确保了服务器和客户端的隐私，实现了与非私有训练相当的准确率和训练速度，在9层MNIST训练中耗时不足一小时。

ABSTRACT

Although cross-silo federated learning improves privacy of training data by exchanging model updates rather than raw data, sharing updates (e.g., local gradients or parameters) may still involve risks. To ensure no updates are revealed to the server, industrial FL schemes allow clients (e.g., financial or medical) to mask local gradients by homomorphic encryption (HE). In this case, the server cannot obtain the updates, but the curious clients can obtain this information to infer other clients' private data. To alleviate this situation, the most direct idea is to let clients train deep models on encrypted domain. Unfortunately, the resulting solution is of poor accuracy and high cost, since the existing advanced HE is incompatible with non-linear activation functions and inefficient in terms of computational cost. In this paper, we propose a \emph{computational-efficient deep model training scheme for ciphertext-based cross-silo federated learning} to comprehensively guarantee privacy. First, we customize \emph{a novel one-time-pad-style model encryption method} to directly supports non-linear activation functions and decimal arithmetic operations on the encrypted domain. Then, we design a hybrid privacy-preserving scheme by combining our model encryption method with secret sharing techniques to keep updates secret from the clients and prevent the server from obtaining local gradients of each client. Extensive experiments demonstrate that for both regression and classification tasks, our scheme achieves the same accuracy as non-private approaches and outperforms the state-of-the-art HE-based scheme. Besides, training time of our scheme is almost the same as non-private approaches and much more efficient than HE-based schemes. Our scheme trains a $9$-layer neural network on the MNIST dataset in less than one hour.

研究动机与目标

• 解决跨池联邦学习中因客户端共享模型更新而可能泄露其他客户端数据的隐私风险。
• 克服同态加密与非线性激活函数不兼容以及在深度学习中计算成本过高的问题。
• 设计一种安全、高效且准确的训练方案，保护模型更新免受服务器和参与客户端的访问。
• 在准确率和训练时间方面实现与非私有训练相当的性能，同时确保端到端隐私。

提出的方法

• 提出一种新颖的一次一密风格模型加密方法，支持在加密模型上直接进行计算，兼容非线性激活函数和十进制算术运算。
• 将模型加密与秘密共享技术结合，确保任何单一参与方（包括客户端）均无法重构本地梯度。
• 设计一种混合隐私保护方案，通过秘密共享在客户端之间共享加密的模型更新，防止服务器获取单个客户端的梯度。
• 在无需解密的情况下实现客户端间加密模型更新的安全聚合，确保整个训练过程中隐私不被泄露。
• 优化加密与计算流水线，最小化开销，实现接近非私有训练的效率。
• 采用混合架构实现同态加密与秘密共享的结合，平衡安全性与性能。

实验结果

研究问题

• RQ1 能否设计一种安全的深度学习框架，在不降低性能的前提下，直接在加密模型上支持非线性激活函数？
• RQ2 在客户端必须将模型更新共享给服务器的跨池联邦学习中，如何保护客户端的本地隐私？
• RQ3 与现有基于同态加密的方法相比，混合加密与秘密共享方案能否在准确率和训练成本上实现显著优势？
• RQ4 在基于密文的深度模型联邦学习中，安全性、准确率与效率之间的权衡关系如何？
• RQ5 在保持端到端隐私的前提下，是否能够在一小时内完成9层神经网络在MNIST数据集上的训练？

主要发现

• 所提出的方案在回归和分类任务上实现了与非私有联邦学习相同的模型准确率。
• 在MNIST数据集上训练9层神经网络的耗时不足一小时，与非私有训练的效率相当。
• 在训练速度方面，该方案显著优于最先进的基于同态加密的方法。
• 该方法成功实现了在加密数据上支持非线性激活函数和十进制算术运算，克服了现有同态加密方案的关键局限。
• 混合隐私保护机制防止了服务器和客户端访问任一客户端的本地梯度。
• 通过确保任何参与方（即使被攻破）均无法重构敏感的模型更新，该方案保持了高度安全性。