[论文解读] MPC-enabled Privacy-Preserving Neural Network Training against Malicious Attack

Ziyao Liu, Ivan Tjuawinata+2 more|arXiv (Cornell University)|Jul 24, 2020

Cryptography and Data Security参考文献 15被引用 7

一句话总结

本文提出了一种基于 SPDZ 框架的高效、主动安全的 n 方协议，用于基于 MPC 的隐私保护神经网络训练，即使在多数参与方可信性被破坏的情况下也能抵御恶意攻击。在局域网（LAN）和广域网（WAN）环境下，其主动安全开销仅为半诚实协议的 2X–2.7X，同时提出了一种新颖的从整数环共享 ℤₙ 到有限域共享 ℤ_q 的转换方案，以支持安全 Beaver 三元组的使用。

ABSTRACT

The application of secure multiparty computation (MPC) in machine learning, especially privacy-preserving neural network training, has attracted tremendous attention from the research community in recent years. MPC enables several data owners to jointly train a neural network while preserving the data privacy of each participant. However, most of the previous works focus on semi-honest threat model that cannot withstand fraudulent messages sent by malicious participants. In this paper, we propose an approach for constructing efficient $n$-party protocols for secure neural network training that can provide security for all honest participants even when a majority of the parties are malicious. Compared to the other designs that provide semi-honest security in a dishonest majority setting, our actively secure neural network training incurs affordable efficiency overheads of around 2X and 2.7X in LAN and WAN settings, respectively. Besides, we propose a scheme to allow additive shares defined over an integer ring $\mathbb{Z}_N$ to be securely converted to additive shares over a finite field $\mathbb{Z}_Q$, which may be of independent interest. Such conversion scheme is essential in securely and correctly converting shared Beaver triples defined over an integer ring generated in the preprocessing phase to triples defined over a field to be used in the calculation in the online phase.

研究动机与目标

• 解决现有隐私保护神经网络训练协议中缺乏主动安全的问题，这些协议假设攻击者仅为半诚实模型。
• 实现在最多 n−1 个参与方为恶意的情况下，n 个参与方之间的安全神经网络训练，确保诚实参与方的安全。
• 与先前的半诚实设计相比，降低 MPC 基于神经网络训练中主动安全的效率开销。
• 开发一种安全且高效的转换机制，将加法共享从整数环 ℤₙ 转换为有限域 ℤ_q，以用于 MAC 保护的算术运算。

提出的方法

• 利用 SPDZ 框架，结合预计算的 Beaver 三元组和消息认证码（MAC），在恶意多数设置下实现主动安全。
• 提出一种新颖的共享转换协议，通过两次 Paillier 密码系统的使用，将来自 ℤₙ 的加法共享转换为 ℤ_q，以支持安全的 MAC 检查。
• 采用预处理模型，其中 Beaver 三元组在 ℤₙ 上预先生成，并转换为 ℤ_q 以供在线计算阶段使用。
• 使用具有加法同态性质的秘密共享和密码学技术，确保训练过程中的正确性与隐私性。
• 使用 Gmpy2 实现高精度算术运算，并将有限域大小 Q > 2¹⁴⁵ 以保障安全性。
• 在 MNIST 数据集上评估性能，采用全连接和卷积神经网络，批量大小为 64 和 128，在局域网（LAN）和广域网（WAN）网络条件下进行测试。

实验结果

研究问题

• RQ1 我们能否设计一种基于 MPC 的神经网络训练协议，在恶意多数设置下实现主动安全，且性能开销可接受？
• RQ2 如何安全地将来自整数环 ℤₙ 的加法共享转换为有限域 ℤ_q，以支持 SPDZ 风格协议中的基于 MAC 的验证？
• RQ3 与半诚实对手模型相比，实现主动安全在神经网络训练中的实际性能成本是多少？
• RQ4 在真实环境（如 WAN）中，通信与计算成本如何随网络延迟和带宽变化而变化？
• RQ5 在存在恶意参与者的情况下，所提出的协议能否在保持高模型准确率的同时提供强安全保证？

主要发现

• 所提出的协议在局域网（LAN）和广域网（WAN）环境下，与半诚实协议相比，仅带来 2.0x 到 2.7x 的性能开销，即可实现对恶意对手的主动安全防护。
• 对于包含 10 个周期、批量大小为 64 的深度神经网络（DNN），局域网中训练耗时 2.92 小时，广域网中耗时 40.25 小时，准确率达到 97.75%。
• 对于包含 10 个周期、批量大小为 64 的卷积神经网络（CNN），局域网中训练耗时 16.50 小时，广域网中耗时 85.28 小时，准确率达到 98.08%。
• 随着模型复杂度的增加，通信开销显著上升，在广域网中 CNN 训练的通信量达到 2.42 GB，但仍处于可接受范围内。
• 所提出的从 ℤₙ 到 ℤ_q 的共享转换机制，可安全且正确地用于 MAC 保护的 SPDZ 协议中的 Beaver 三元组，这对实现主动安全至关重要。
• 该协议保持了高模型准确率——CNN 达到 97.00%，DNN 达到 95.03%，与明文训练结果相当，证明了协议的正确性与实用性。