[论文解读] CryptoSPN: Privacy-preserving Sum-Product Network Inference

Amos Treiber, Alejandro Molina+3 more|TUbilio (Technical University of Darmstadt)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用 7

一句话总结

CryptoSPN 是一个框架，通过安全多方计算（SMPC）实现对和积网络（SPNs）的隐私保护推理，确保客户数据、模型结构和预测结果的可证明安全性。它在无需精度损失的情况下，以秒级效率实现中等规模 SPN 的准确推理，支持标准 SPN 和 RAT-SPN，性能开销极低。

ABSTRACT

AI algorithms, and machine learning (ML) techniques in particular, are increasingly important to individuals' lives, but have caused a range of privacy concerns addressed by, e.g., the European GDPR. Using cryptographic techniques, it is possible to perform inference tasks remotely on sensitive client data in a privacy-preserving way: the server learns nothing about the input data and the model predictions, while the client learns nothing about the ML model (which is often considered intellectual property and might contain traces of sensitive data). While such privacy-preserving solutions are relatively efficient, they are mostly targeted at neural networks, can degrade the predictive accuracy, and usually reveal the network's topology. Furthermore, existing solutions are not readily accessible to ML experts, as prototype implementations are not well-integrated into ML frameworks and require extensive cryptographic knowledge. In this paper, we present CryptoSPN, a framework for privacy-preserving inference of sum-product networks (SPNs). SPNs are a tractable probabilistic graphical model that allows a range of exact inference queries in linear time. Specifically, we show how to efficiently perform SPN inference via secure multi-party computation (SMPC) without accuracy degradation while hiding sensitive client and training information with provable security guarantees. Next to foundations, CryptoSPN encompasses tools to easily transform existing SPNs into privacy-preserving executables. Our empirical results demonstrate that CryptoSPN achieves highly efficient and accurate inference in the order of seconds for medium-sized SPNs.

研究动机与目标

• 通过在不暴露敏感客户数据或模型结构的情况下实现远程推理，解决机器学习中的隐私问题，特别是在 GDPR 框架下的隐私关切。
• 为 SPN 推理提供一种安全、高效且准确的解决方案，保护客户输入和模型知识产权。
• 通过与机器学习框架集成，使机器学习从业者无需深入密码学知识即可部署隐私保护的 SPN 推理。
• 不仅隐藏输入数据，还隐藏 SPN 的拓扑结构和变量范围，提供强于现有解决方案的隐私保障。
• 实现中等规模 SPN 的可处理性能，在真实应用场景中平衡安全性、效率和精度。

提出的方法

• 利用安全多方计算（SMPC）中的 Yao 加密电路，实现 SPN 推理，而无需暴露输入、输出或模型结构。
• 通过将 SPNs 编译为 log2 域上的算术电路，将其转换为隐私保护电路，实现高效的 SMPC 评估。
• 应用密码学技术隐藏随机变量的范围和网络的拓扑结构，确保结构混淆。
• 实现两阶段协议：设置阶段耗时数分钟并传输数 GB 数据，线上阶段延迟低于一秒，通信量为 MB 级别。
• 在 SMPC 中使用 32 位和 64 位浮点精度，由于 log2 域计算导致的精度损失极小。
• 集成工具，使用户可轻松将现有 SPNs（如来自 SPFlow 的 SPNs）转换为隐私保护可执行程序，用户操作极少。

实验结果

研究问题

• RQ1 能否在不损害精度或暴露模型结构的前提下，使用 SMPC 安全地执行 SPN 推理？
• RQ2 隐私保护的 SPN 推理性能如何随 SPN 大小、深度和密度变化？
• RQ3 诸如加密电路和秘密共享等密码学技术对 SPN 推理效率和精度的影响程度如何？
• RQ4 该框架能否在保持强隐私保障的前提下，同时支持标准 SPN 和 RAT-SPN？
• RQ5 隐藏 SPN 的变量范围和拓扑结构对运行时间和通信开销有何影响？

主要发现

• 对于中等规模 SPN，CryptoSPN 的线上推理仅需几秒钟，设置时间约为数分钟，通信量达 GB 级别。
• 框架保持了近乎完美的精度，与原始 SPN 评估相比，32 位精度的 RMSE 为 4.2×10⁻⁹，64 位精度的 RMSE 为 2.3×10⁻¹⁷。
• 求和节点的数量对运行时间的影响远大于乘积节点或叶节点，原因在于 log2 和 exp2 操作的计算开销较高。
• 网络密度（尤其是边的数量）比原始规模更具关键影响，更密集的 SPN 显示出显著更高的运行时间。
• 隐藏随机变量的范围带来的开销可忽略不计，与原始推理相比仅导致运行时间轻微增加。
• 该框架成功隐藏了模型结构和输入数据，提供了超越现有解决方案的可证明安全保证。