[论文解读] FALCON: Honest-Majority Maliciously Secure Framework for Private Deep Learning

Sameer Wagh, Shruti Tople+4 more|arXiv (Cornell University)|Apr 5, 2020

Privacy-Preserving Technologies in Data被引用 5

一句话总结

Falcon 提出了一种三方可信方参与、诚实多数的恶意安全框架，用于深度神经网络的私有训练与推理，利用基于模运算的新颖协议实现如 ReLU 和批量归一化等非线性操作。与 prior works 如 SecureNN 和 ABY3 相比，它在推理速度上最高快 8 倍，通信效率提升 16–200 倍，同时支持 VGG16 和 AlexNet 等大型模型。

ABSTRACT

We propose Falcon, an end-to-end 3-party protocol for efficient private training and inference of large machine learning models. Falcon presents four main advantages - (i) It is highly expressive with support for high capacity networks such as VGG16 (ii) it supports batch normalization which is important for training complex networks such as AlexNet (iii) Falcon guarantees security with abort against malicious adversaries, assuming an honest majority (iv) Lastly, Falcon presents new theoretical insights for protocol design that make it highly efficient and allow it to outperform existing secure deep learning solutions. Compared to prior art for private inference, we are about 8x faster than SecureNN (PETS'19) on average and comparable to ABY3 (CCS'18). We are about 16-200x more communication efficient than either of these. For private training, we are about 6x faster than SecureNN, 4.4x faster than ABY3 and about 2-60x more communication efficient. Our experiments in the WAN setting show that over large networks and datasets, compute operations dominate the overall latency of MPC, as opposed to the communication.

研究动机与目标

• 设计一个安全、高效且表达能力强的框架，用于在存在恶意攻击者且诚实方占多数的条件下，实现深度学习模型的私有训练与推理。
• 支持复杂且高容量的神经网络，如 AlexNet 和 VGG16，这些模型在现实世界应用中至关重要。
• 在安全多方计算（MPC）环境中，原生支持批量归一化——这是现代深度学习中的关键组件。
• 与现有安全深度学习框架相比，降低通信与计算开销，尤其是在广域网（WAN）环境中。
• 为 MPC 协议设计非线性函数提供理论与实践洞察，实现高效且安全的计算。

提出的方法

• 采用基于秘密共享的三方可信方 MPC 框架，结合诚实多数的污染模型，以确保对恶意攻击者的安全性。
• 提出新的非线性操作协议（特别是 ReLU 和批量归一化），仅使用模运算，避免依赖昂贵的混淆电路或同态加密。
• 设计一种新型安全计算框架，结合算术秘密共享与非线性层的优化电路编译。
• 通过最小化交互并利用高效的模运算操作，优化轮次复杂度与通信开销。
• 采用混合方法，对线性操作使用秘密共享，对非线性操作使用定制协议，从而在训练与推理中均实现高性能。
• 使用自定义编译器与规划器，将深度学习模型（如 VGG16、AlexNet）映射为安全 MPC 电路，性能损失最小化。

实验结果

研究问题

• RQ1 在存在恶意安全且诚实方占多数的条件下，能否高效支持如 VGG16 和 AlexNet 这类大规模模型的私有深度学习框架？
• RQ2 在多方计算环境中，如何安全且高效地计算批量归一化，同时不牺牲性能？
• RQ3 在广域网（WAN）环境中，基于 MPC 的私有深度学习的主要性能瓶颈是什么，如何缓解？
• RQ4 基于模运算的新协议在 ReLU 和批量归一化上的表现是否优于使用混淆电路或同态加密的现有方法？
• RQ5 哪些关键的协议设计原则能够同时实现强安全性与高效率的私有深度学习？

主要发现

• Falcon 的推理速度最高比 SecureNN（PETS'19）快 8 倍，与 ABY3（CCS'18）相当，但通信效率高出 16–200 倍。
• 在私有训练方面，Falcon 比 SecureNN 快 6 倍，比 ABY3 快 4.4 倍，通信效率提升 2–60 倍。
• 在 WAN 环境中，计算主导延迟，表明优化计算密集型操作（如非线性操作）对性能至关重要。
• Falcon 是首个在完全恶意安全与诚实多数假设下，支持 VGG16 和 AlexNet 私有训练与推理的框架。
• 该框架首次在 MPC 中提供了高效、基于模运算的 ReLU 与批量归一化协议，显著减少了对昂贵混淆电路的依赖。
• Falcon 证明了轮次与通信复杂度的理论优化可转化为在 Tiny ImageNet 等真实数据集上的显著实际性能提升。