[論文レビュー] Sphynx: ReLU-Efficient Network Design for Private Inference

Minsu Cho, Zahra Ghodsi+3 more|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用数 5

ひとこと要約

SPHYNXは、プライベートインフェンスに最適化されたReLU効率の良いニューラルアーキテクチャサーチフレームワークを提案する。マイクロサーチを用いて、最小限のReLU演算で最高の精度を達成する畳み込みセルを設計する。Gumbel-Softmax再パrameterizationを用いてセルアーキテクチャとリダクションセルの配置を最適化することで、CIFAR-100において先行手法を上回るパレート支配を達成し、Tiny-ImageNetおよびImageNetでも顕著に少ないReLU数で効率的なプライベートインフェンスを実現する。

ABSTRACT

The emergence of deep learning has been accompanied by privacy concerns surrounding users' data and service providers' models. We focus on private inference (PI), where the goal is to perform inference on a user's data sample using a service provider's model. Existing PI methods for deep networks enable cryptographically secure inference with little drop in functionality; however, they incur severe latency costs, primarily caused by non-linear network operations (such as ReLUs). This paper presents Sphynx, a ReLU-efficient network design method based on micro-search strategies for convolutional cell design. Sphynx achieves Pareto dominance over all existing private inference methods on CIFAR-100. We also design large-scale networks that support cryptographically private inference on Tiny-ImageNet and ImageNet.

研究の動機と目的

• 暗号プロトコルにおける高コストなReLU演算が引き起こすプライベートインフェンスの高レイテンシを解消すること。
• 従来のプレーンテキストインフェンスで有効であったマイクロサーチ戦略が、ReLU効率の良いプライベートインフェンスネットワーク設計においてマクロサーチを上回る可能性があるかどうかを調査すること。
• 畳み込みセルアーキテクチャとリダクションセル配置を同時に最適化する新しいサーチスペースと後処理手法を開発し、ReLU使用数を最小限に抑えること。
• SPHYNXによって得られたReLU最適化ネットワークが、既存のプライベートインフェンス手法と比較して、より高い精度と少ないReLU数を達成できることを実証すること。

提案手法

• SPHYNXは、DARTS、ENAS、PC-DARTSなどの既存のNAS手法と統合可能な、ReLU効率の良い新しいマイクロサーチスペースを導入する。
• アーキテクチャサーチを、ユーザーが定義したReLU予算内でのReLU数の最小化と精度の最大化を目的とした制約付き最適化問題として定式化する。
• リダクションセルの配置最適化に特化した新しい後処理ステップを提案し、Gumbel-Softmax再パラメータライゼーションのテクニックを用いる。これは、ReLU制約下での性能に顕著な影響を与える。
• サーチを3段階に分離する：(1) セル発見、(2) ユーザー定義のReLU予算内での初期チャネル数と深さの選択、(3) 最適なリダクションセル配置の決定。
• プライベートインフェンスにはDELPHIプロトコルを活用し、線形層には加法的シークレットシェアリング、ReLU層にはガーブルドサーキット、オフライン操作には同型暗号化を用いる。
• CIFAR-100、Tiny-ImageNet、ImageNetにおけるアブレーションスタディを通じて、異なるReLU予算とネットワーク構成における性能を比較し、設計の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みセル設計におけるマイクロサーチ戦略が、ReLU効率の良いプライベートインフェンスネットワーク設計においてマクロサーチを上回る可能性があるか？
• RQ2 リダクションセルの正確な配置が、ReLUコストの最小化とReLU制約下での精度最大化において重要であるか？
• RQ3 SPHYNXによって発見されたReLU最適化アーキテクチャが、精度とレイテンシの観点で、既存のプライベートインフェンス手法をパレート支配するか？
• RQ4 ReLUバランスとFLOPバランスのどちらが、ReLU制約下でのネットワーク性能最適化において優れているか？
• RQ5 SPHYNXで設計されたセルは、ImageNetのような大規模データセットにも一般化可能であり、効率的なプライベートインフェンスを可能にするか？

主な発見

• CIFAR-100では、SPHYNXはすべての既存するプライベートインフェンス手法をパレート支配し、より高い精度と少ないReLU数を達成する。
• Tiny-ImageNetでは、614K個のReLUを使用したSPHYNXは、2224K個のReLUを要するResNet18と同等の60.57%のテスト精度を達成し、0.25倍以上の少ないReLU数を実現する。
• ImageNet上でのSPHYNX設計ネットワークは、VGG11およびResNet18をレイテンシの全範囲で厳密に上回り、大規模データセットへのスケーラビリティを示す。
• アブレーションスタディの結果、ReLUバランスがFLOPバランスを上回り、N=7（より多くの線形演算を含む）のセルがN=5のセルよりも優れた性能を示す。
• 標準的なNAS手法（例：DARTS）から得たセルをSPHYNXの修正なしに使用した場合、著しく劣った性能となるため、提案されたフレームワークの必要性が確認される。
• Gumbel-Softmax再パラメータライゼーションによって可能になったリダクションセルの最適配置は、極めて重要である。均等な間隔配置は劣悪な結果をもたらし、動的セル配置の重要性が浮き彫りになる。