[論文レビュー] RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation Based Private Inference

Hongwu Peng, Shanglin Zhou+12 more|arXiv (Cornell University)|Feb 5, 2023

Cryptography and Data Security被引用数 5

ひとこと要約

RRNetは、2人用計算（2PC）ベースのプライベートインフェンスにおけるReLU演算を最小限に抑えるために、深層ニューラルネットワーク（DNN）アーキテクチャとFPGAベースの暗号化ハードウェアスケジューリングを同時に最適化する微分可能ニューラルアーキテクチャ探索（NAS）フレームワークを提案する。ハードウェア遅延をDNNの損失関数に統合し、トレーナブルなストレートスラッシュ多項式活性化初期化を用いることで、CIFAR-10におけるReLU削減の最先端（SOTA）手法を上回り、ResNet-18では最大26倍、ResNet-50では25倍の高速化を達成したが、精度の低下は最小限に抑えられた。

ABSTRACT

The proliferation of deep learning (DL) has led to the emergence of privacy and security concerns. To address these issues, secure Two-party computation (2PC) has been proposed as a means of enabling privacy-preserving DL computation. However, in practice, 2PC methods often incur high computation and communication overhead, which can impede their use in large-scale systems. To address this challenge, we introduce RRNet, a systematic framework that aims to jointly reduce the overhead of MPC comparison protocols and accelerate computation through hardware acceleration. Our approach integrates the hardware latency of cryptographic building blocks into the DNN loss function, resulting in improved energy efficiency, accuracy, and security guarantees. Furthermore, we propose a cryptographic hardware scheduler and corresponding performance model for Field Programmable Gate Arrays (FPGAs) to further enhance the efficiency of our framework. Experiments show RRNet achieved a much higher ReLU reduction performance than all SOTA works on CIFAR-10 dataset.

研究の動機と目的

• 2PCベースのプライベートインフェンスにおける比較プロトコルの高い計算および通信オーバーヘッド、特にReLU演算に起因する問題を解決すること。
• 特にセキュアな2人用計算（2PC）環境下で、モデルの精度を損なわずReLU数を削減すること。
• DNNアーキテクチャとFPGAベースの暗号化ハードウェアスケジューリングを共同最適化し、エネルギー効率とパフォーマンスを向上させること。
• 暗号化遅延をニューラルアーキテクチャ探索に統合することで、2PCベースのプライベートインフェンスの設計空間探索を自動化すること。
• ハードウェアに配慮した微分可能なNASを用いて、リソース制約のあるプラットフォームへのセキュアなDNNインフェンスの実用的導入を可能にすること。

提案手法

• 計算コストの高いReLU演算を多項式近似に置き換えるために、トレーナブルなストレートスラッシュ多項式活性化初期化（STPAI）を導入する。
• FPGAにおける暗号化演算の遅延を損失関数に組み込むことで、DNNアーキテクチャとハードウェアスケジューリングを同時に最適化する微分可能なNASフレームワークを構築する。
• 秘密共有された演算のスケジューリングを最適化し、エンドツーエンドの遅延を低減するため、遅延ルックアップテーブルと暗号化ハードウェアスケジューラーを構築する。
• NASトレーニング中に精度とハードウェア遅延のバランスを取るために、ハイパーパramータ λ を用いた多目的損失関数を用いる。
• バイレベル最適化プロセスを採用：内側ループでネットワーク重み ω を更新し、外側ループで4回の順方向および5回の逆方向パスを用いてアーキテクチャパラメータ α を更新する。
• 最終的なアーキテクチャは、各層ごとに最も高い活性化を得た演算を選択することで決定的かつ最適化されたモデルを生成する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なNASフレームワークは、2PCベースのプライベートインフェンスにおいて、DNNアーキテクチャとFPGAベースの暗号化ハードウェアスケジューリングを効果的に共同最適化できるか？
• RQ2 2PC環境下で、顕著な精度低下を伴わず、ReLU演算をどの程度削減できるか？
• RQ3 NAS損失関数にハードウェア遅延を統合することで、エネルギー効率とインフェンス速度がどのように向上するか？
• RQ4 実際のFPGAプラットフォーム上での2PCベースのプライベートインフェンスにおいて、ReLU削減、モデル精度、インフェンス遅延のトレードオフはどのようなものか？
• RQ5 提案されたSTPAI手法は、既存のReLU削減技術と比較して、精度およびパフォーマンス面でどのように優れているか？

主な発見

• RRNetは、2PC環境下でResNet-18で最大26倍の高速化（324 ms から 12 ms）を達成し、ResNet-50では25倍（922 ms から 37 ms）の高速化を実現したが、精度の低下は最小限に抑えられた。
• VGG-16では、全多項式置換により遅延が20倍（382 ms から 19 ms）低減したが、ベースラインの93.5%から3.2%の精度低下を示した。
• ResNet-18、-34、-50は、全多項式置換に対しても高い耐性を示し、15〜26倍の高速化にもかかわらず、精度低下は0.26%〜0.34%にとどまった。
• MobileNetV2は、全多項式置換により15倍の高速化（1543 ms から 103 ms）を達成したが、精度は1.27%低下した。
• CIFAR-10において、RRNetは精度とReLU数のトレードオフのパラメータフロンティアを、DeepReDuce、DELPHI、CryptoNAS、SNIといったSOTA手法を上回る優れた性能で達成した。特に、ReLU数が少ない状況で顕著な優位性を示した。
• 遅延に配慮した損失関数を用いたハードウェアに配慮したNASにより、最適化されたDNNおよびハードウェア構成が効果的に同定され、エンドツーエンドの遅延が低減されつつ、高い精度を維持した。