[论文解读] AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference

Jaiyoung Park, Michael Jaemin Kim+2 more|arXiv (Cornell University)|Jan 18, 2022

Cryptography and Data Security被引用 8

一句话总结

该论文提出AESPA，一种低阶多项式激活函数，通过结合勒让德多项式展开与逐基归一化，保留模型精度，利用贝弗的乘法三元组而非昂贵的混淆电路实现高效私有推理。在ResNet、VGG和预激活ResNet模型上，AESPA在Delphi私有推理协议中实现高达61.4倍的在线延迟降低和28.9倍的通信成本降低，且在不进行复杂微调或神经架构搜索的情况下，达到与ReLU基模型相当的精度。

ABSTRACT

Hybrid private inference (PI) protocol, which synergistically utilizes both multi-party computation (MPC) and homomorphic encryption, is one of the most prominent techniques for PI. However, even the state-of-the-art PI protocols are bottlenecked by the non-linear layers, especially the activation functions. Although a standard non-linear activation function can generate higher model accuracy, it must be processed via a costly garbled-circuit MPC primitive. A polynomial activation can be processed via Beaver's multiplication triples MPC primitive but has been incurring severe accuracy drops so far. In this paper, we propose an accuracy preserving low-degree polynomial activation function (AESPA) that exploits the Hermite expansion of the ReLU and basis-wise normalization. We apply AESPA to popular ML models, such as VGGNet, ResNet, and pre-activation ResNet, to show an inference accuracy comparable to those of the standard models with ReLU activation, achieving superior accuracy over prior low-degree polynomial studies. When applied to the all-RELU baseline on the state-of-the-art Delphi PI protocol, AESPA shows up to 42.1x and 28.3x lower online latency and communication cost.

研究动机与目标

• 解决混合私有推理协议中非线性激活函数（尤其是ReLU）依赖昂贵混淆电路MPC原原子导致的性能瓶颈。
• 克服以往低阶多项式激活函数在私有推理中通常出现的严重精度下降问题。
• 实现深度神经网络中ReLU单元的完整替换，采用一种支持使用贝弗乘法三元组高效计算的多项式激活函数。
• 在仅使用低阶多项式的情况下，实现与ReLU基模型相当的高模型精度，避免复杂的神经架构搜索或微调方案。
• 在最先进的Delphi协议中，通过真实私有推理场景展示显著的性能提升。

提出的方法

• 该方法引入HerPN模块，通过将ReLU的勒让德多项式展开与逐基归一化相结合，稳定训练过程并缓解梯度消失/爆炸问题。
• 使用勒让德多项式展开将ReLU函数近似为低阶多项式，从而在MPC中通过贝弗乘法三元组实现高效计算。
• 对每个通道或特征图应用逐基归一化，以归一化输入分布，提升训练期间的梯度流动性和模型稳定性。
• 所提出的激活函数可无缝集成至标准深度学习架构（如ResNet、预激活ResNet和VGGNet），无需架构重构。
• 该方法在Delphi私有推理协议中端到端评估，将所有ReLU单元替换为HerPN模块，从而仅依赖BT原原子进行计算。
• 通过直接用可微分的低阶多项式替代ReLU，避免了复杂的微调或NAS流程，同时保持高精度。

实验结果

研究问题

• RQ1 低阶多项式激活函数是否能在用于私有推理的深度神经网络中，保持与ReLU相当的模型精度？
• RQ2 勒让德多项式展开与逐基归一化相结合，是否能稳定多项式激活函数的训练过程，防止梯度消失/爆炸？
• RQ3 在混合MPC-HE私有推理协议中，将所有ReLU单元替换为多项式激活函数，能在多大程度上降低在线延迟和通信成本？
• RQ4 在CIFAR-10/100和TinyImageNet等标准基准上，该方法是否在精度和效率方面均优于先前的低阶多项式近似方法？
• RQ5 该方法是否可在无需复杂模型微调或架构搜索的情况下，有效部署于真实私有推理系统？

主要发现

• AESPA在CIFAR-10/100和TinyImageNet上的分类精度与ReLU基模型相当，显著优于以往的低阶多项式方法。
• 在Delphi私有推理协议中，通过将所有ReLU单元替换为贝弗乘法三元组，AESPA将在线延迟降低高达61.4倍，通信成本降低高达28.9倍。
• 该方法成功实现了ResNet18/32、预激活ResNet18/32和VGG16中ReLU单元的完全替换，消除了任何激活层对昂贵混淆电路的依赖。
• 结合勒让德展开与逐基归一化的HerPN模块有效缓解了梯度不稳定性，即使在低阶多项式下也能实现高精度。
• 与[17]和[11]等先前工作相比，该方法在精度上表现更优，后者需依赖高阶多项式或复杂微调以维持性能。
• 该方法在物理机器和真实网络环境中的实际部署中表现出有效性，实现了可测量的性能提升，且未牺牲模型精度。