[论文解读] AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE

Wei Ao, Vishnu Naresh Boddeti|arXiv (Cornell University)|Oct 12, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

AutoFHE 提出了一种自动化的多目标框架，通过联合优化逐层混合次数多项式逼近与置位操作（bootstrapping）位置，将标准卷积神经网络（CNN）适配为在 RNS-CKKS 下高效同态评估的模型。该方法在推理速度上相比低次多项式方法最高提升 1.8 倍，准确率提高 2.56%，相比基于 TFHE 的方法实现 103 倍加速，同时支持任意 CNN 架构并具备灵活的准确率-延迟权衡能力。

ABSTRACT

Secure inference of deep convolutional neural networks (CNNs) under RNS-CKKS involves polynomial approximation of unsupported non-linear activation functions. However, existing approaches have three main limitations: 1) Inflexibility: The polynomial approximation and associated homomorphic evaluation architecture are customized manually for each CNN architecture and do not generalize to other networks. 2) Suboptimal Approximation: Each activation function is approximated instead of the function represented by the CNN. 3) Restricted Design: Either high-degree or low-degree polynomial approximations are used. The former retains high accuracy but slows down inference due to bootstrapping operations, while the latter accelerates ciphertext inference but compromises accuracy. To address these limitations, we present AutoFHE, which automatically adapts standard CNNs for secure inference under RNS-CKKS. The key idea is to adopt layerwise mixed-degree polynomial activation functions, which are optimized jointly with the homomorphic evaluation architecture in terms of the placement of bootstrapping operations. The problem is modeled within a multi-objective optimization framework to maximize accuracy and minimize the number of bootstrapping operations. AutoFHE can be applied flexibly on any CNN architecture, and it provides diverse solutions that span the trade-off between accuracy and latency. Experimental evaluation over RNS-CKKS encrypted CIFAR datasets shows that AutoFHE accelerates secure inference by $1.32 imes$ to $1.8 imes$ compared to methods employing high-degree polynomials. It also improves accuracy by up to 2.56% compared to methods using low-degree polynomials. Lastly, AutoFHE accelerates inference and improves accuracy by $103 imes$ and 3.46%, respectively, compared to CNNs under TFHE.

研究动机与目标

• 解决现有全同态加密（FHE）安全 CNN 推理中，针对特定网络结构的手动、架构依赖的多项式逼近方式灵活性不足的问题。
• 克服仅对单个激活函数进行近似而非对整个网络函数进行优化的次优性问题。
• 缓解高次多项式（准确但慢）与低次多项式（快但不准确）之间的权衡困境。
• 实现对任意 CNN 架构在 RNS-CKKS 下的自动化、可扩展且灵活的适配，以支持安全推理。
• 联合优化每层的多项式次数与置位操作位置，实现准确率-延迟权衡的帕累托最优解。

提出的方法

• AutoFHE 将模型适配问题建模为在自定义的逐层混合次数多项式激活搜索空间上的多目标优化问题。
• 采用多目标搜索算法（MOS）探索模型准确率与置位操作次数之间的权衡。
• 提出一种复合多项式系数优化方法（R-CCDE），以提升多项式逼近精度。
• 设计一种多项式感知的训练策略（PAT），支持带有混合次数多项式激活的适配 CNN 的端到端训练。
• 联合优化每层的多项式次数与置位操作位置，以在 RNS-CKKS 下最小化延迟并保持准确率。
• 支持任意标准 CNN 架构，并生成覆盖准确率-延迟帕累托前沿的多样化解决方案。

实验结果

研究问题

• RQ1 是否存在一种自动化方法，能够联合优化多项式逼近次数与置位操作位置，从而提升 FHE 推理效率？
• RQ2 逐层混合次数多项式逼近是否在准确率与延迟方面优于统一的低次或高次多项式逼近？
• RQ3 该框架是否能够无需手动重新设计，灵活应用于任意 CNN 架构？
• RQ4 与高次多项式方法相比，AutoFHE 在推理速度与准确率方面表现如何？
• RQ5 与基于 TFHE 的方法相比，AutoFHE 在延迟与准确率方面提升了多少？

主要发现

• 在 RNS-CKKS 下，与高次多项式方法相比，AutoFHE 将安全推理速度提升了 1.32 倍至 1.8 倍。
• 与低次多项式方法（如 AESPA）相比，AutoFHE 将 top-1 准确率最高提升了 2.56%。
• 与在 TFHE 下评估的模型（REDsec）相比，AutoFHE 实现了 103 倍的推理延迟加速与 3.46% 的准确率提升。
• 该框架生成了多样化的帕累托最优解，覆盖了任意给定 CNN 架构的准确率-延迟权衡范围。
• 混合次数多项式与置位操作位置的联合优化，相比手动设计或统一次数优化的方法，性能更优。
• 所提出的多目标搜索与训练流水线（MOS、R-CCDE、PAT）能有效探索 FHE 适配 CNN 的大规模搜索空间。