[論文レビュー] Accurate Low-Degree Polynomial Approximation of Non-polynomial Operators for Fast Private Inference in Homomorphic Encryption

Jianming Tong, Jingtian Dang+4 more|arXiv (Cornell University)|Apr 4, 2024

Cryptography and Data Security被引用数 4

ひとこと要約

本稿では、非多項式演算子（例：ReLU、MaxPooling）を低次多項式近似（PAFs）に置き換えることで、完全準同型暗号（FHE）における正確で効率的なプライベート推論を可能にするSMART-PAFフレームワークを提案する。4つの相乗効果をもたらす技術——係数チューニング、段階的近似、代替学習、動的／静的スケーリング——を導入し、学習の安定化と精度の低下を低減した。ResNet-18とImageNet-1kを用いた実験では、先行手法比で最大13.64倍の精度向上と14.9倍の高速化を達成した。

ABSTRACT

As machine learning (ML) permeates fields like healthcare, facial recognition, and blockchain, the need to protect sensitive data intensifies. Fully Homomorphic Encryption (FHE) allows inference on encrypted data, preserving the privacy of both data and the ML model. However, it slows down non-secure inference by up to five magnitudes, with a root cause of replacing non-polynomial operators (ReLU and MaxPooling) with high-degree Polynomial Approximated Function (PAF). We propose SmartPAF, a framework to replace non-polynomial operators with low-degree PAF and then recover the accuracy of PAF-approximated model through four techniques: (1) Coefficient Tuning (CT) -- adjust PAF coefficients based on the input distributions before training, (2) Progressive Approximation (PA) -- progressively replace one non-polynomial operator at a time followed by a fine-tuning, (3) Alternate Training (AT) -- alternate the training between PAFs and other linear operators in the decoupled manner, and (4) Dynamic Scale (DS) / Static Scale (SS) -- dynamically scale PAF input value within (-1, 1) in training, and fix the scale as the running max value in FHE deployment. The synergistic effect of CT, PA, AT, and DS/SS enables SmartPAF to enhance the accuracy of the various models approximated by PAFs with various low degrees under multiple datasets. For ResNet-18 under ImageNet-1k, the Pareto-frontier spotted by SmartPAF in latency-accuracy tradeoff space achieves 1.42x ~ 13.64x accuracy improvement and 6.79x ~ 14.9x speedup than prior works. Further, SmartPAF enables a 14-degree PAF (f1^2 g_1^2) to achieve 7.81x speedup compared to the 27-degree PAF obtained by minimax approximation with the same 69.4% post-replacement accuracy. Our code is available at https://github.com/EfficientFHE/SmartPAF.

研究の動機と目的

• ReLU や MaxPooling などの非多項式演算子が原因で生じる完全準同型暗号（FHE）ベースのプライベート推論における高遅延と精度低下を解消すること。
• 高次多項式（例：27次）に依存する従来の多項式近似手法の限界を克服すること。これにより、長い乗算チェーンが発生し、性能が著しく低下する問題を解消すること。
• 新規な学習手法を用いて、低次多項式近似（8〜14次）を用いたPFAの収束を可能にし、最適化の安定化と精度の維持を実現すること。
• 最適なトレードオフを達成するため、最適化された学習戦略を用いて低次多項式近似を体系的に探索し、推論遅延とモデル精度の両立を実現すること。
• 安全なマルチパーティ計算やガーブルド回路を含むハイブリッド方式に依存することなく、PAFsをFHEパイプラインに完全に統合すること。

提案手法

• 係数チューニング（CT）：学習前に行われる入力分布に応じたPAF係数の調整により、初期化の改善と精度低下の低減を実現する。
• 段階的近似（PA）：非多項式演算子を1層ずつ置き換えることで、SGDにおける段階的微調整により安定した学習を可能にする。
• 代替学習（AT）：PAFsと他の線形層の学習を分離し、異なるハイパーパrameterを用いることで干渉を回避し、収束性を向上させる。
• 動的スケーリング（DS）と静的スケーリング（SS）：学習中はPAF入力を（−1, 1）に動的にスケーリングし、FHE推論時には実行時最大値を固定してスケーリングを固定することで、オーバーフローを防止する。
• SMART-PAFフレームワークは、CT、PA、AT、DS/SSに加え、ドロップアウトとSWAを順次適用することで、遅延と精度のトレードオフを最適化する。
• モデルとデータセットにわたる最適なPAF次数と構成を特定するため、パレートフロンティア探索戦略を採用する。

Figure 1: SMART-PAF replaces ReLU and MaxPooling by low-degree PAFs, and achieves better accuracy-latency Pareto-frontier than prior works Lee et al. ( 2021 ; 2022 ); Cheon et al. ( 2020 ) on ResNet-18 (ImageNet-1k).

実験結果

リサーチクエスチョン

• RQ1 8〜14次という低次多項式近似を用いることで、ReLU や MaxPooling などの非多項式演算子を置き換えるFHEベースの推論において、高い精度を達成できるか？
• RQ2 高次多項式近似（PAFs）における学習の発散をどのように緩和し、収束と精度の維持を可能にするか？
• RQ3 線形層と多項式近似非線形項を組み合わせた場合に、最適化を安定化させ、収束性を向上させるための学習手法は何か？
• RQ4 多様なモデルとデータセットにわたるFHE推論において、遅延と精度の最適なトレードオフを体系的なフレームワークが特定できるか？
• RQ5 学習時に動的スケーリングを適用し、FHEデプロイ時に静的スケーリングを適用することで、数値オーバーフローを効果的に防止し、精度を維持できるか？

主な発見

• SMART-PAFは、ResNet-18とImageNet-1kを用いた実験で、先行手法比で最大13.64倍の精度向上を達成し、精度-遅延パラメータフロンティアを顕著に改善した。
• 14次多項式近似（f₁²∘g₁²）を用いることで、置換後の精度が69.4％に達し、ミニマックス近似から得られる27次多項式近似と比較して7.81倍の高速化を達成した。
• ResNet-18とImageNet-1kを用いた場合、SMART-PAFは先行手法比で6.79〜14.9倍の高速化と1.42〜13.64倍の精度向上を達成した。
• 係数チューニングにより、微調整を要せずとも、さまざまなPAF次数において初期精度が1.04倍から2.38倍向上した。
• 段階的近似により、標準的な学習では失敗する低次多項式近似（特に6次以上）を用いたモデルの収束が可能になった。
• 学習時の動的スケーリングとデプロイ時の静的スケーリングの組み合わせにより、FHE推論におけるオーバーフローの防止と数値的安定性の維持が効果的に実現された。

Figure 2: Overview of the FHE-base ML inference where original non-polynomial operators are replaced by Polynomial Approximated Activation (PAF).