[論文レビュー] DeepReDuce: ReLU Reduction for Fast Private Inference

Nandan Kumar Jha, Zahra Ghodsi+2 more|arXiv (Cornell University)|Mar 2, 2021

Privacy-Preserving Technologies in Data参考文献 33被引用数 20

ひとこと要約

DeepReDuceは、精度を維持したままプライベートインフェンスの遅延を著しく削減するため、ニューラルネットワークからReLUユニットを選択的に削除する新しいReLUドロップ技術を提案する。重要なReLUを同定し、それを削除することで、知識蒸留と組み合わせることで、同精度下でReLU数を3.5倍まで削減可能であり、同じReLU数下で最大3.5%の精度向上を達成。CIFAR-100およびTinyImageNetにおいて、最先端手法を上回る性能を発揮する。

ABSTRACT

The recent rise of privacy concerns has led researchers to devise methods for private neural inference -- where inferences are made directly on encrypted data, never seeing inputs. The primary challenge facing private inference is that computing on encrypted data levies an impractically-high latency penalty, stemming mostly from non-linear operators like ReLU. Enabling practical and private inference requires new optimization methods that minimize network ReLU counts while preserving accuracy. This paper proposes DeepReDuce: a set of optimizations for the judicious removal of ReLUs to reduce private inference latency. The key insight is that not all ReLUs contribute equally to accuracy. We leverage this insight to drop, or remove, ReLUs from classic networks to significantly reduce inference latency and maintain high accuracy. Given a target network, DeepReDuce outputs a Pareto frontier of networks that tradeoff the number of ReLUs and accuracy. Compared to the state-of-the-art for private inference DeepReDuce improves accuracy and reduces ReLU count by up to 3.5% (iso-ReLU count) and 3.5$ imes$ (iso-accuracy), respectively.

研究の動機と目的

• 暗号化計算における高コストなReLU演算が引き起こすプライベートインフェンスの高遅延を解消すること。
• モデル精度を著しく損なわずにニューラルネットワーク内のReLUユニット数を削減すること。
• 非重要とされるReLUを体系的に同定・削除することで、プライベートインフェンスを最適化する手法を構築すること。
• 伝統的なプルーニングやネットワークの深さ削減に比べ、ReLUドロップがプライベートインフェンス環境で優れていることを実証すること。
• 実用的導入を想定した、ReLU数と精度のトレードオフを示すパラメータフロンティアを生成すること。

提案手法

• モデル精度への寄与度に基づいてReLU層を削除する新たな最適化戦略として、ReLUドロップを提案する。
• ReLUの重要度を評価するためのキーポイント指標を用い、ネットワーク性能に寄与する重要なReLUを順位付け可能にする。
• 精度の維持を図るため、ReLUドロップと知識蒸留を組み合わせる。
• ReLU削除後に隣接する線形層を統合することで、FLOPsとモデルの深さをさらに削減する。
• ReLU予算を変化させながら精度のトレードオフを報告することで、最適化されたモデルのパラメータフロンティアを生成する。
• ResNet、MobileNetV1、VGG16など多様なアーキテクチャに本手法を適用し、一般化性能を示す。

実験結果

リサーチクエスチョン

• RQ1 ReLUドロップは、プライベートインフェンスの高精度を維持したまま、ニューラルネットワーク内のReLU数を著しく削減できるか？
• RQ2 チャネルプルーニングやネットワーク蒸留と比較して、ReLUドロップはReLU削減効率と精度保持性において優れているか？
• RQ3 ReLUドロップは、残差構造を有さないアーキテクチャ（例：MobileNetV1 や VGG16）に対しても効果的に適用可能か？
• RQ4 ReLUドロップと知識蒸留を組み合わせることで、モデルの精度と効率にどのような影響を与えるか？
• RQ5 DeepReDuceは、異なるネットワークアーキテクチャに跨って、ReLU数と精度のパラメータフロンティアをPareto最適に生成できるか？

主な発見

• CIFAR-100において、DeepReDuceは、同じReLU数下で最先端手法よりも最大3.5%高い精度を達成した。
• 同精度下で、最先端手法と比較してReLU数を最大3.5倍まで削減できた。
• CIFAR-100では、最も高速なDeepReDuceモデルが、トップ-1精度65%を達成し、インフェンス遅延はわずか455msであった。
• TinyImageNetでは、59.18%のトップ-1精度を達成し、4.6秒のインフェンス時間で動作し、大規模データセットへのスケーラビリティを示した。
• チャネルプルーニングやネットワーク蒸留手法に比べ、2倍のReLU削減効率を示した。
• DeepReDuceは残差ネットワークに限らず、MobileNetV1においても、同じReLU数下で10.9%の精度向上、同じ精度下で3.8倍のReLU削減を達成した。