[論文レビュー] AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference

Jaiyoung Park, Michael Jaemin Kim+2 more|arXiv (Cornell University)|Jan 18, 2022

Cryptography and Data Security被引用数 8

ひとこと要約

本稿では、ヘルミート多項式展開とベース別正規化を組み合わせることで、モデルの精度を保持する低次多項式活性化関数AESPAを提案する。これにより、高価なゲート化回路ではなくベイバーの乗算トリプルを用いた効率的なプライベート推論が可能になる。ResNet、VGG、事前活性化ResNetモデルに適用したところ、Delphiプライベート推論プロトコルにおいて、オンライン遅延を最大61.4倍低減し、通信コストを28.9倍低減した。ReLUベースのモデルと同等の精度を達成しており、複雑な再訓練やNASを必要としない。

ABSTRACT

Hybrid private inference (PI) protocol, which synergistically utilizes both multi-party computation (MPC) and homomorphic encryption, is one of the most prominent techniques for PI. However, even the state-of-the-art PI protocols are bottlenecked by the non-linear layers, especially the activation functions. Although a standard non-linear activation function can generate higher model accuracy, it must be processed via a costly garbled-circuit MPC primitive. A polynomial activation can be processed via Beaver's multiplication triples MPC primitive but has been incurring severe accuracy drops so far. In this paper, we propose an accuracy preserving low-degree polynomial activation function (AESPA) that exploits the Hermite expansion of the ReLU and basis-wise normalization. We apply AESPA to popular ML models, such as VGGNet, ResNet, and pre-activation ResNet, to show an inference accuracy comparable to those of the standard models with ReLU activation, achieving superior accuracy over prior low-degree polynomial studies. When applied to the all-RELU baseline on the state-of-the-art Delphi PI protocol, AESPA shows up to 42.1x and 28.3x lower online latency and communication cost.

研究の動機と目的

• 非線形活性化関数、特にReLUが高価なゲート化回路MPCプリミティブに依存するため、ハイブリッドプライベート推論プロトコルにおける性能ボトルネックを解消すること。
• プライベート推論で使用される従来の低次多項式活性化関数では一般的に見られる顕著な精度低下を克服すること。
• ベイバーの乗算トリプルを用いた効率的な計算を可能にする多項式活性化関数を用いて、深層ニューラルネットワーク内のReLUユニットを完全に置き換えること。
• 複雑なニューラルアーキテクチャ探索や再訓練スキームを回避しつつ、ReLUベースのモデルと同等の高いモデル精度を達成する低次多項式を用いること。
• 最先端のDelphiプロトコルを用いた実世界のプライベート推論環境で顕著な性能向上を示すこと。

提案手法

• 本手法は、ReLUのヘルミート多項式展開とベース別正規化を組み合わせたHerPNブロックを導入し、訓練の安定性を高め、勾配消失／爆発の問題を緩和する。
• ヘルミート展開を用いてReLU関数を低次の多項式で近似し、MPCにおけるベイバーの乗算トリプルによる効率的評価を可能にする。
• 各チャネルまたは特徴マップに対してベース別正規化を適用し、入力分布を正規化することで、訓練中の勾配の流れとモデルの安定性を向上させる。
• 本手法は、ResNet、事前活性化ResNet、VGGNetなどの標準的な深層学習アーキテクチャに、アーキテクチャの大幅な見直しを伴わずに統合可能である。
• 本手法は、すべてのReLUユニットをHerPNブロックに置き換えることで、Delphiプライベート推論プロトコルにおいてエンドツーエンドに評価され、BTプリミティブを唯一の手段として活用する。
• 複雑な再訓練やNASを回避するため、微分可能で低次の多項式に置き換えることで、高い精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 低次多項式活性化関数は、プライベート推論に用いられる深層ニューラルネットワークにおいて、ReLUと同等のモデル精度を維持できるか？
• RQ2 ヘルミート多項式展開とベース別正規化を組み合わせることで、多項式ベースの活性化関数における訓練の安定性が向上し、勾配消失／爆発が抑制されるか？
• RQ3 ハイブリッドMPC-HEプライベート推論プロトコルにおいて、すべてのReLUユニットを多項式活性化関数に置き換えることで、オンライン遅延と通信コストをどの程度低減できるか？
• RQ4 CIFAR-10/100やTinyImageNetといった標準ベンチマークにおいて、本手法は先行研究の低次多項式近似法と比較して、精度と効率の両面で優れているか？
• RQ5 複雑なモデル再訓練やアーキテクチャ探索を要せず、実世界のプライベート推論システムに効果的に導入可能か？

主な発見

• AESPAは、CIFAR-10/100およびTinyImageNetにおける分類精度がReLUベースのモデルと同等であり、先行する低次多項式手法を顕著に上回っている。
• Delphiプライベート推論プロトコルに適用した場合、すべてのReLUユニットをベイバーの乗算トリプルに置き換えることで、オンライン遅延を最大61.4倍、通信コストを最大28.9倍低減した。
• 本手法により、ResNet18/32、事前活性化ResNet18/32、VGG16におけるすべてのReLUユニットが完全に置き換えられ、任意の活性化層で高価なゲート化回路の使用が不要になった。
• ヘルミート展開とベース別正規化を組み合わせたHerPNブロックは、勾配不安定性を効果的に緩和し、低次多項式でも高い精度を達成可能であることを示した。
• 本手法は、[17]や[11]といった先行研究よりも優れた精度を達成しており、これらは性能を維持するために高次多項式や複雑な再訓練を必要としていた。
• 本手法は物理的なマシンとネットワーク上での実世界の展開において実用的効果を示し、モデル精度を損なうことなく顕著な性能向上を達成した。