[论文解读] S++: A Fast and Deployable Secure-Computation Framework for Privacy-Preserving Neural Network Training

Prashanthi Ramachandran, Shivam Agarwal+3 more|arXiv (Cornell University)|Jan 28, 2021

Adversarial Robustness in Machine Learning被引用 8

一句话总结

S++ 是一种用于三服务器环境下基于秘密共享的隐私保护神经网络训练的快速、可部署的安全计算框架。它引入了高效且可验证的指数运算和常见非线性激活函数（如 sigmoid、tanh 和 softmax）的协议，实现了无需架构修改的标准神经网络安全训练，在局域网环境中基准测试显示延迟和通信开销均较低。

ABSTRACT

We introduce S++, a simple, robust, and deployable framework for training a neural network (NN) using private data from multiple sources, using secret-shared secure function evaluation. In short, consider a virtual third party to whom every data-holder sends their inputs, and which computes the neural network: in our case, this virtual third party is actually a set of servers which individually learn nothing, even with a malicious (but non-colluding) adversary. Previous work in this area has been limited to just one specific activation function: ReLU, rendering the approach impractical for many use-cases. For the first time, we provide fast and verifiable protocols for all common activation functions and optimize them for running in a secret-shared manner. The ability to quickly, verifiably, and robustly compute exponentiation, softmax, sigmoid, etc., allows us to use previously written NNs without modification, vastly reducing developer effort and complexity of code. In recent times, ReLU has been found to converge much faster and be more computationally efficient as compared to non-linear functions like sigmoid or tanh. However, we argue that it would be remiss not to extend the mechanism to non-linear functions such as the logistic sigmoid, tanh, and softmax that are fundamental due to their ability to express outputs as probabilities and their universal approximation property. Their contribution in RNNs and a few recent advancements also makes them more relevant.

研究动机与目标

• 在不暴露私有输入的前提下，实现使用多个数据源的神经网络安全私密训练。
• 克服先前基于 MPC 的框架仅支持 ReLU 的局限性，通过增加对基于指数运算的激活函数的支持。
• 在三服务器计算（3PC）环境中，提供高效、可验证且实用的 sigmoid、tanh、softmax 及其导数的协议。
• 通过允许现有神经网络模型在安全环境中无需修改即可使用，降低开发人员的工作量。
• 通过实现对概率性和通用近似函数的完整支持，弥合安全神经网络训练中的实用性差距。

提出的方法

• 该框架采用三台服务器之间的加法秘密共享机制，其中数据拥有者将数据份额分发给两台主服务器和一台辅助服务器。
• 提出了一种基于 SCALE MAMBA 和 Catrina-Saxena 原原子的新型安全指数运算协议，专为具有秘密共享输入的三服务器计算而设计。
• 该指数运算协议支持 Z_128 中的定点数运算，以防止溢出，并支持在神经网络层中的使用。
• sigmoid、tanh 和 softmax 通过指数运算协议实现，其导数通过安全算术计算以支持反向传播。
• 在安全计算环境中，采用泰勒级数近似方法实现指数运算，特别针对小数值输入进行了优化。
• 协议使用 C++ 实现，采用 Z_64 和 Z_128 中的定点数运算，通信和执行时间在局域网基准测试中进行了测量。

实验结果

研究问题

• RQ1 安全计算框架能否支持如 sigmoid、tanh 和 softmax 等非 ReLU 激活函数，这些函数对概率建模和通用近似至关重要？
• RQ2 在三服务器秘密共享环境中，如何高效且可验证地实现指数运算，以用于神经网络训练？
• RQ3 与仅支持 ReLU 的方法相比，为复杂激活函数增加支持在安全神经网络训练中带来的性能开销如何？
• RQ4 当使用基于指数运算的激活函数时，现有神经网络模型是否可以无需架构修改即可安全部署？
• RQ5 在真实局域网环境中，安全 sigmoid、tanh 和 softmax 计算的实际通信和延迟成本是多少？

主要发现

• S++ 框架在局域网环境下实现了低延迟的 secure sigmoid、tanh 和 softmax 函数执行，128x128 输入的平均执行时间仅为 5.631 秒。
• 通信开销保持在可管理范围内，softmax 及其导数协议在 128x128 输入下传输约 41.3 MB 数据。
• 基于泰勒级数的指数运算协议实现亚秒级性能，128x128 输入下仅需 0.092 秒，通信量仅为 0.079 MB。
• 该框架支持使用常见激活函数的标准神经网络安全训练，无需对模型进行架构修改。
• 当前实现对较大指数值存在溢出问题，限制了指数运算及其衍生函数的实际应用，表明这是未来工作中的关键局限。