[论文解读] QUOTIENT: Two-Party Secure Neural Network Training and Prediction

Nitin Agrawal, Ali Shahin Shamsabadi+2 more|arXiv (Cornell University)|Jul 8, 2019

Privacy-Preserving Technologies in Data参考文献 53被引用 29

一句话总结

QUOTIENT 提出了一种新颖的两方安全协议，用于使用三值化权重训练和预测深度神经网络，并通过优化的安全计算原语实现高效计算。通过将量化训练与基于相关不经意传输的定制化MPC协议协同设计，其在广域网（WAN）上的训练速度比之前的工作（如SecureML）快50倍，准确率高出6%。

ABSTRACT

Recently, there has been a wealth of effort devoted to the design of secure protocols for machine learning tasks. Much of this is aimed at enabling secure prediction from highly-accurate Deep Neural Networks (DNNs). However, as DNNs are trained on data, a key question is how such models can be also trained securely. The few prior works on secure DNN training have focused either on designing custom protocols for existing training algorithms, or on developing tailored training algorithms and then applying generic secure protocols. In this work, we investigate the advantages of designing training algorithms alongside a novel secure protocol, incorporating optimizations on both fronts. We present QUOTIENT, a new method for discretized training of DNNs, along with a customized secure two-party protocol for it. QUOTIENT incorporates key components of state-of-the-art DNN training such as layer normalization and adaptive gradient methods, and improves upon the state-of-the-art in DNN training in two-party computation. Compared to prior work, we obtain an improvement of 50X in WAN time and 6% in absolute accuracy.

研究动机与目标

• 解决两方计算（2PC）环境下深度神经网络安全训练协议缺乏实用性与可扩展性的问题。
• 通过协同设计机器学习算法与MPC协议，克服以往工作存在的长期离线阶段、广域网性能不切实际以及模型准确率低等局限。
• 在2PC框架内支持现代DNN组件（如批量归一化和自适应梯度方法）的安全训练。
• 实现在局域网（LAN）和广域网（WAN）上端到端训练与预测的实用性能，使安全DNN训练在真实场景中可行。
• 通过最小化准确率损失并保持强隐私保障，缩小安全DNN与标准DNN性能之间的差距。

提出的方法

• 在前向与反向传播过程中将网络权重三值化为{-1, 0, 1}，以简化安全计算并减少通信开销。
• 设计一种基于相关不经意传输的专用安全协议，用于三值矩阵-向量乘法，结合布尔共享与加法共享以提升效率。
• 通过用MPC高效替代方案替换标准操作（如量化和归一化），优化反向传播过程，同时保持模型行为不变。
• 借鉴嵌入式DNN训练中的定点量化技术（如Wu et al., 2018），在低精度算术下稳定优化过程。
• 实现一种半诚实安全模型的两方计算（2PC）协议，最小化往返次数与通信负载，支持广域网部署。
• 将协议集成至完整训练流水线，支持全连接层、卷积层与残差网络，实现安全训练与预测。

实验结果

研究问题

• RQ1 能否使两方安全计算在训练包含批量归一化和自适应优化器等复杂组件的现代深度神经网络时具备实用性？
• RQ2 如何通过协同设计机器学习算法与安全计算协议，在2PC环境中降低通信与延迟开销？
• RQ3 将权重量化为三值是否能在不牺牲模型准确率的前提下显著提升安全DNN训练的效率？
• RQ4 能否使安全DNN训练在广域网（WAN）上实现可扩展性，其中通信延迟主导性能表现？
• RQ5 通过联合优化训练算法与底层MPC协议，可实现哪些性能与准确率的提升？

主要发现

• 2PC-QUOTIENT 在广域网上的训练速度比SecureML快50倍，将3层MNIST网络的训练时间从超过4,000小时缩短至90小时以内。
• 在局域网中，相比SecureML，训练时间减少5倍，大多数模型的10轮训练可在12天内完成。
• QUOTIENT 在MNIST测试集上达到99.38%的准确率，相比SecureML在收敛时的误差率绝对提升了6%。
• 单次预测在局域网中比SecureML快13倍，在广域网中快3倍；批量预测分别快7倍与50倍。
• 该协议支持卷积网络与残差网络的安全训练——这是此前2PC中无法实现的关键进展，首次实现了此类架构的实用化2PC解决方案。
• 通信与往返开销被最小化，广域网性能仅比局域网慢5倍，显著优于以往工作在广域网中不切实际的表现。