[论文解读] FALCON: A Fourier Transform Based Approach for Fast and Secure Convolutional Neural Network Predictions

Shaohua Li, Kaiping Xue+5 more|arXiv (Cornell University)|Nov 20, 2018

Privacy-Preserving Technologies in Data参考文献 28被引用 11

一句话总结

FALCON 提出了一种新颖、快速且安全的方法，通过基于傅里叶变换的优化和全同态加密来评估卷积神经网络（CNNs）。它实现了高效且隐私保护的推理，首次提出了实用的隐私保护 softmax 计算协议，在 MNIST 和 CIFAR-10 模型上，速度比之前的工作快 25 倍以上，通信开销减少了 97%。

ABSTRACT

Machine learning as a service has been widely deployed to utilize deep neural network models to provide prediction services. However, this raises privacy concerns since clients need to send sensitive information to servers. In this paper, we focus on the scenario where clients want to classify private images with a convolutional neural network model hosted in the server, while both parties keep their data private. We present FALCON, a fast and secure approach for CNN predictions based on Fourier Transform. Our solution enables linear layers of a CNN model to be evaluated simply and efficiently with fully homomorphic encryption. We also introduce the first efficient and privacy-preserving protocol for softmax function, which is an indispensable component in CNNs and has not yet been evaluated in previous works due to its high complexity. We implemented the FALCON and evaluated the performance on real-world CNN models. The experimental results show that FALCON outperforms the best known works in both computation and communication cost.

研究动机与目标

• 为解决机器学习即服务（MLaaS）中的隐私问题，即客户端和服务器必须保护输入数据和模型参数。
• 在不暴露敏感数据或模型权重的情况下，实现对 CNN 的安全且高效的推理。
• 设计首个高效、隐私保护的协议，用于 CNN 中计算复杂度较高的 softmax 层。
• 与现有方法相比，显著降低安全 CNN 推理中的计算和通信开销。

提出的方法

• 利用快速傅里叶变换（FFT）的线性特性，优化卷积层和全连接层在全同态加密下的评估效率。
• 采用基于格的全同态加密，以最小的密文乘法开销安全地评估线性层。
• 提出一种新颖且高效的协议，以隐私保护方式计算 softmax 函数，克服了以往因指数运算和除法带来的限制。
• 使用 Yao 的混淆电路安全评估非线性层（包括 ReLU 和最大池化），并优化处理流水线。
• 采用定点数运算并结合缩放，将小数表示为整数，以最小化加密计算过程中的精度损失。
• 采用混合架构，结合同态加密与安全两方计算，以在效率与安全性之间取得平衡。

实验结果

研究问题

• RQ1 能否利用快速傅里叶变换在全同态加密下显著加速 CNN 中线性层的安全评估？
• RQ2 是否可能设计一种高效且隐私保护的 softmax 函数协议，该问题在以往的安全深度学习工作中被忽视？
• RQ3 与 MiniONN 和 GAZELLE 等现有安全推理系统相比，所提出的 FALCON 框架在性能和通信成本方面表现如何？
• RQ4 定点近似在多大程度上影响加密 CNN 模型的预测精度？

主要发现

• 在 CIFAR-10 模型上，FALCON 的在线阶段计算速度比 MiniONN 快 25 倍以上，通信开销减少了 97%。
• 在 MNIST 模型上，FALCON 的在线阶段速度比 MiniONN 快 27 倍以上，通信开销减少超过 97%。
• 尽管 GAZELLE 的基准测试报告存在不一致，可能对其性能声明提出质疑，FALCON 在在线计算和通信方面仍优于 GAZELLE。
• 模型的精度与明文推理几乎完全一致：MNIST 上为 99.26%，CIFAR-10 上为 81.61%，由于定点缩放导致的精度损失可忽略不计。
• FALCON 是首个为加密 CNN 推理中的 softmax 层提供安全、高效且实用协议的框架。
• 通过使用 FFT 和优化的同态加密，减少了昂贵的密文乘法次数，从而在所有 CNN 层中均实现了显著的性能提升。