[論文レビュー] Selective Network Linearization for Efficient Private Inference

Minsu Cho, Ameya Joshi+3 more|arXiv (Cornell University)|Feb 4, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、勾配ベースの手法として、選択的ネットワーク線形化（SNL）を提案する。SNLは、プライベートインフェンスにおけるレイテンシを低減しつつ精度を維持するため、ReLU活性化関数を線形ユニットに選択的に置き換える。学習可能でバイナリスケールのパラメトリックReLU（pReLU）とℓ1正則化を用いてスパarsityを促進することで、CIFAR-100ベンチマークにおいて、最先端の手法と比較して最大2.2倍のレイテンシ低減、または4.25%の精度向上を達成する。

ABSTRACT

Private inference (PI) enables inference directly on cryptographically secure data.While promising to address many privacy issues, it has seen limited use due to extreme runtimes. Unlike plaintext inference, where latency is dominated by FLOPs, in PI non-linear functions (namely ReLU) are the bottleneck. Thus, practical PI demands novel ReLU-aware optimizations. To reduce PI latency we propose a gradient-based algorithm that selectively linearizes ReLUs while maintaining prediction accuracy. We evaluate our algorithm on several standard PI benchmarks. The results demonstrate up to $4.25\%$ more accuracy (iso-ReLU count at 50K) or $2.2 imes$ less latency (iso-accuracy at 70\%) than the current state of the art and advance the Pareto frontier across the latency-accuracy space. To complement empirical results, we present a "no free lunch" theorem that sheds light on how and when network linearization is possible while maintaining prediction accuracy. Public code is available at \url{https://github.com/NYU-DICE-Lab/selective_network_linearization}.

研究の動機と目的

• 非線形ReLU演算に起因するプライベートインフェンスにおける実行時間ボトルネックを軽減すること。
• 手動でのアーキテクチャ探索を回避する、自動的かつ細分化されたReLU削減手法を開発すること。
• ディープニューラルネットワークにおけるReLU演算数を最小限に抑えつつ、高いモデル精度を維持すること。
• 選択的線形化のメモリズム能力のトレードオフに関する理論的洞察を提供すること。

提案手法

• 各ReLUニューロンに対して、学習可能でバイナリスケールの勾配パラメータ（0または1）を持つパラメトリックReLU（pReLU）を用いる。
• 勾配係数にℓ1ペナルティを適用し、スパarsityを促進するとともに、トレーニング中にバイナリ制約を強制する。
• ℓ1ペナルティに段階的減衰を適用することで、精度とReLU削減のバランスを取る。
• 追加の探索やアーキテクチャ再トレーニングなしに、標準的なバックプロパゲーションを実行する。
• 各特徴マップごとに、どのReLUを線形化するかを細分化して制御可能である。
• ネットワークの深さや幅を変更せずに、ResNetを含む既存のディープネットワークにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの手法は、既存のReLU削減技術と比較して、プライベートインフェンスにおけるレイテンシ-精度トレードオフをより良く達成できるか？
• RQ2 プルーニングと比較して、選択的線形化はディープネットワークのメモリズム能力にどのように影響するか？
• RQ3 ReLUの数に制限がある条件下で、ネットワーク全体の容量を最大化するための最適なレイヤーごとのReLU保持率は何か？
• RQ4 1つのトレーニング手順で、複数段階にわたるヒューリスティックなReLUカリングやスプライシングを置き換えられるか？
• RQ5 どのような条件下で、予測精度を損なわずにネットワークの線形化が可能になるか？

主な発見

• CIFAR-100において、70%のテスト精度で、最先端の手法と比較して2.2倍のレイテンシ低減を達成した。
• 50,000個の固定ReLU数の条件下で、SNLは先行研究と比較してテスト精度を最大4.25%向上させた。
• 複数のベンチマークにおいて、レイテンシ-精度トレードオフ空間におけるパレートフロンティアを進歩させた。
• 理論的分析により、α1またはα2 < 1の場合、選択的線形化ネットワークのメモリズム能力は、完全なReLUネットワークよりも厳密に低いことが示された。
• 最適なReLU保持率は、レイヤー幅に反比例し、より幅広い最初のレイヤーでより多くのニューロンが線形化される。
• ReLU予算が10,000、d1=50,000、d2=5,000の3層ネットワークにおいて、SNLの最適構成は第1層で42,500ニューロン、第2層で7,500ニューロンを線形化する。