[論文レビュー] AutoFHE: Automated Adaption of CNNs for Efficient Evaluation over FHE

Wei Ao, Vishnu Naresh Boddeti|arXiv (Cornell University)|Oct 12, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

AutoFHE は、RNS-CKKS における効率的な同型暗号評価のため、標準的な CNN を自動的に適応させる、マルチオブジェクティブなフレームワークを提案する。層ごとの混合次数多項式近似とブートストラップ配置の共同最適化により、1.8倍の高速化と低次元手法比で2.56%の高い精度を達成し、TFHEベースの手法比で103倍の高速化を実現。任意の CNN アーキテクチャをサポートし、精度と遅延の柔軟なトレードオフを可能にする。

ABSTRACT

Secure inference of deep convolutional neural networks (CNNs) under RNS-CKKS involves polynomial approximation of unsupported non-linear activation functions. However, existing approaches have three main limitations: 1) Inflexibility: The polynomial approximation and associated homomorphic evaluation architecture are customized manually for each CNN architecture and do not generalize to other networks. 2) Suboptimal Approximation: Each activation function is approximated instead of the function represented by the CNN. 3) Restricted Design: Either high-degree or low-degree polynomial approximations are used. The former retains high accuracy but slows down inference due to bootstrapping operations, while the latter accelerates ciphertext inference but compromises accuracy. To address these limitations, we present AutoFHE, which automatically adapts standard CNNs for secure inference under RNS-CKKS. The key idea is to adopt layerwise mixed-degree polynomial activation functions, which are optimized jointly with the homomorphic evaluation architecture in terms of the placement of bootstrapping operations. The problem is modeled within a multi-objective optimization framework to maximize accuracy and minimize the number of bootstrapping operations. AutoFHE can be applied flexibly on any CNN architecture, and it provides diverse solutions that span the trade-off between accuracy and latency. Experimental evaluation over RNS-CKKS encrypted CIFAR datasets shows that AutoFHE accelerates secure inference by $1.32 imes$ to $1.8 imes$ compared to methods employing high-degree polynomials. It also improves accuracy by up to 2.56% compared to methods using low-degree polynomials. Lastly, AutoFHE accelerates inference and improves accuracy by $103 imes$ and 3.46%, respectively, compared to CNNs under TFHE.

研究の動機と目的

• FHE-セキュアな CNN 推論における手動で行われるアーキテクチャに特化した多項式近似の不柔軟性を解消すること。
• 個々の活性化関数の近似が不十分であるのではなく、ネットワーク全体の関数を最適化すること。
• 高次元（正確だが遅い）と低次元（速いが不正確）の多項式近似のトレードオフを解消すること。
• RNS-CKKS における任意の CNN アーキテクチャの自動的かつスケーラブルで柔軟な適応を可能にすること。
• RNS-CKKS における精度と遅延のパレート最適なトレードオフを達成するために、各層の多項式次数とブートストラップ配置を共同最適化すること。

提案手法

• AutoFHE は、各層の混合次数多項式活性化関数を含む独自の探索空間におけるマルチオブジェクティブ最適化として適応問題を定式化する。
• モデルの精度とブートストラップ操作回数のトレードオフを探索するために、マルチオブジェクティブ探索アルゴリズム（MOS）を採用する。
• 近似精度を向上させるための複合多項式係数最適化手法（R-CCDE）を提案する。
• 混合次数多項式活性化関数を用いたエンドツーエンドの訓練を可能にする多項式認識訓練戦略（PAT）を導入する。
• RNS-CKKS における精度を保持しつつ遅延を最小化するために、各層の多項式次数とブートストラップ配置を共同最適化する。
• 任意の標準的な CNN アーキテクチャをサポートし、精度-遅延パレートフロンティアをカバーする多様なソリューションを生成する。

実験結果

リサーチクエスチョン

• RQ1 自動化された手法が、多項式近似次数とブートストラップ配置を共同最適化することで、FHE 推論効率を向上させることができるか？
• RQ2 層ごとの混合次数多項式近似は、一様な低次元または高次元近似よりも精度と遅延の両面で優れているか？
• RQ3 手動での再設計なしに、任意の CNN アーキテクチャに柔軟に適用可能か？
• RQ4 高次元多項式手法と比較して、AutoFHE は推論速度と精度の両面で優れているか？
• RQ5 TFHE ベースの手法と比較して、AutoFHE は遅延と精度の両面でどの程度向上しているか？

主な発見

• AutoFHE は、RNS-CKKS における高次元多項式手法と比較して、セキュアな推論を1.32〜1.8倍高速化する。
• AESPA などの低次元多項式手法と比較して、トップ-1精度を最大2.56%向上させる。
• TFHE（REDsec）で評価されたモデルと比較して、推論遅延を103倍高速化し、3.46%高い精度を達成する。
• フレームワークは、任意の CNN アーキテクチャに対して、精度-遅延トレードオフをカバーする多様なパレート最適ソリューションを生成する。
• 混合次数多項式とブートストラップ配置の共同最適化は、手動設計または一様次数最適化アプローチと比較して優れたパフォーマンスを実現する。
• 提案されたマルチオブジェクティブ探索およびトレーニングパイプライン（MOS、R-CCDE、PAT）は、FHE 適応 CNN の大規模な探索空間を効果的に探索できる。