[論文レビュー] CryptoNAS: Private Inference on a ReLU Budget

Zahra Ghodsi, Akshaj Kumar Veldanda+2 more|arXiv (Cornell University)|Jun 15, 2020

Cryptography and Data Security参考文献 28被引用数 31

ひとこと要約

CryptoNAS は ReLU 予算を制約することにより private inference の CNN アーキテクチャを自動的に探索し、ReLUs を private inference の主な待機ボトルネックと扱い、以前の PI 手法よりも低遅延かつ高精度を達成します。

ABSTRACT

Machine learning as a service has given raise to privacy concerns surrounding clients' data and providers' models and has catalyzed research in private inference (PI): methods to process inferences without disclosing inputs. Recently, researchers have adapted cryptographic techniques to show PI is possible, however all solutions increase inference latency beyond practical limits. This paper makes the observation that existing models are ill-suited for PI and proposes a novel NAS method, named CryptoNAS, for finding and tailoring models to the needs of PI. The key insight is that in PI operator latency cost are non-linear operations (e.g., ReLU) dominate latency, while linear layers become effectively free. We develop the idea of a ReLU budget as a proxy for inference latency and use CryptoNAS to build models that maximize accuracy within a given budget. CryptoNAS improves accuracy by 3.4% and latency by 2.4x over the state-of-the-art.

研究の動機と目的

• 暗号プロトコルを用いたプライバシー保護サービスとしての private inference を動機づける。
• PI における支配的な待機時間のボトルネックとして ReLU 演算を特定し、ReLU 予算を待機時間の代理指標として定義する。
• 固定された ReLU 予算の下で精度を最大化する NAS 手法を開発する。
• ReLU 削減と ReLU バランシングを提案し、ReLU 効率の良いネットワークを作成する。
• PI 最適化アーキテクチャを効率的に発見するデカップルドな探索フレームワークとして CryptoNAS を構築する。

提案手法

• 非線形 ReLU がコストを支配する PI レイテンシの代理指標として ReLU 予算を定義する。
• ReLU 削減技術を開発する：ReLU プルーニングと ReLU シャッフリングにより ReLU 数を低減。
• 予算の下で ReLU 当たりのモデル容量を最大化する ReLU バランシングを提案する。
• Skip 接続のための ENAS マクロ探索を用い、予算下でコアネットワークのサイズ調整を Skip 配置とデカップル化する CryptoNAS を用いる。
• プライベート推論内で Skip 接続をサポートするよう MiniONN を拡張する。
• 探索を予算下のコアネットワーク最適化と Skip 配置最適化にデカップル化する。

実験結果

リサーチクエスチョン

• RQ1 非線形 ReLU 演算を制約することで、ニューラルアーキテクチャを private inference に適合させるにはどうすればよいか？
• RQ2 PI モデルの精度を犠牲にせず ReLU 数を削減する効果的な手法は何か？
• RQ3 固定された ReLU 予算の下で、デカップルド NAS 探索は高精度モデルを効率的に見つけられるか？
• RQ4 PI 制約下で ReLU バランシングは FLOP ベースやチャネルバランスのスケーリングとどのように比較されるか？
• RQ5 PI のために ReLU を最小化した場合でも Skip 接続は依然有効か？

主な発見

• CryptoNAS は CIFAR-10/100 において最先端の PI 手法よりも精度を向上させ、遅延を削減する。
• ReLU プルーニングは最小限の精度の損失で ReLU 数を約 5.8×まで削減する。
• ReLU シャッフリングは特定のモデルで ReLU 数を約 1.9×まで削減し、精度低下を招かない。
• ReLU バランシングは ReLU 当たりのモデル容量を最大化し、小規模予算で CIFAR-100 の FLOP バランスのベースラインより最大で 3.75% の精度向上をもたらす。
• CryptoNAS が発見したネットワークは、複数の深さにわたる CIFAR-10 および CIFAR-100 で、精度-遅延のパレートフロントラインにおいて従来の PI 手法を上回る。
• CryptoNAS はコアネットワーク最適化と skip 配置探索をデカップル化することで効率的に動作し、予算ごとに Pareto front モデルを生成するには単一の ENAS 実行だけを要する。