[論文レビュー] EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning

Bailin Li, Bowen Wu+3 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 30被引用数 13

ひとこと要約

EagleEyeは、効率的なニューラルネットワークの pruning を実現するための、高速で適応的バッチ正則化（adaptive-BN）に基づくサブネットワーク評価手法を提案する。この手法は、多様なアーキテクチャ（MobileNetV1/V2、ResNet-50）およびデータセット（CIFAR-10、ImageNet）において、評価された精度と微調整後の精度の相関を顕著に向上させ、最大で0.937のピアソン相関を達成し、標準的な評価法を上回り、L1およびL2ノルムに基づく pruning に一般化可能である。

ABSTRACT

Finding out the computational redundant part of a trained Deep Neural Network (DNN) is the key question that pruning algorithms target on. Many algorithms try to predict model performance of the pruned sub-nets by introducing various evaluation methods. But they are either inaccurate or very complicated for general application. In this work, we present a pruning method called EagleEye, in which a simple yet efficient evaluation component based on adaptive batch normalization is applied to unveil a strong correlation between different pruned DNN structures and their final settled accuracy. This strong correlation allows us to fast spot the pruned candidates with highest potential accuracy without actually fine-tuning them. This module is also general to plug-in and improve some existing pruning algorithms. EagleEye achieves better pruning performance than all of the studied pruning algorithms in our experiments. Concretely, to prune MobileNet V1 and ResNet-50, EagleEye outperforms all compared methods by up to 3.8%. Even in the more challenging experiments of pruning the compact model of MobileNet V1, EagleEye achieves the highest accuracy of 70.9% with an overall 50% operations (FLOPs) pruned. All accuracy results are Top-1 ImageNet classification accuracy. Source code and models are accessible to open-source community https://github.com/anonymous47823493/EagleEye .

研究の動機と目的

• 精度推定に完全な微調整が必要な従来の pruning 方法の非効率性を解消すること。
• 高速なサブネットワーク評価と実際の微調整後の精度との相関を向上させ、信頼できる pruning 候補の順序付けを可能にすること。
• 適応的バッチ正則化に基づく評価手法が、異なるアーキテクチャ、データセット、および pruning 準拠（L1およびL2ノルム）に一般化可能であることを示すこと。
• 高価な完全な微調整に代わる軽量で高精度な評価メカニズムを導入することで、より高速かつ効率的なニューラルネットワークの pruning を実現すること。

提案手法

• プルーニングされたサブネットワークのバッチ正則化統計を適応的に調整することで、精度の推定値を計算する、適応的バッチ正則化（adaptive-BN）に基づく評価手法を導入する。
• 評価中に現在のサブネットワーク構造に基づいて再計算される累積統計を持つ、標準のBN層を適応的BN層に置き換える。
• 適応的BNの出力を用いて、完全な学習を経ずにプルーニングされたサブネットワークの微調整後の精度を予測する。
• 評価の堅牢性を検証するため、複数のアーキテクチャ（MobileNetV1/V2、ResNet-50）およびデータセット（CIFAR-10、ImageNet）にこの手法を適用する。
• pruning候補に対して、ピアソン、スピアマン、ケンドールの相関係数を用いて、適応的BN評価と標準（vanilla）BN評価を比較する。
• FLOPs制約や pruning 戦略（L1およびL2ノルムに基づくフィルタープルーニング）を変化させた状況下でも、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 適応的バッチ正則化に基づく評価は、サブネットワーク pruning において、標準的な評価法よりも微調整後の精度との相関が高くなるか？
• RQ2 適応的バッチ正則化評価手法は、異なるニューラルネットワークアーキテクチャ（例：MobileNetV1、ResNet-50）に一般化可能か？
• RQ3 FLOPs制約や pruning 率を変化させた状況下でも、適応的バッチ正則化手法は高い相関を維持するか？
• RQ4 L2ノルムに基づくフィルタープルーニングに適用した場合、L1ノルムに基づく pruning と比較して、適応的バッチ正則化評価はどのように性能を発揮するか？
• RQ5 完全な微調整を経ずに、適応的バッチ正則化手法が pruning 候補を信頼できる順序に並べ替えられるか。これにより、pruning パipelaineの高速化が実現可能か？

主な発見

• 62.5%のFLOPs制約下で、CIFAR-10のMobileNetV1において、適応的バッチ正則化評価は微調整後の精度と0.937のピアソン相関を達成し、標準的なBN評価を顕著に上回った。
• FLOPs制約なしのResNet-50において、適応的バッチ正則化は0.681の相関を達成したのに対し、標準的BNは0.279にとどまり、より高いロバストネスを示した。
• FLOPs制約なしのImageNetにおけるMobileNetV2では、適応的バッチ正則化がピアソン相関0.634（スピアマン：0.564）を達成した。これに対して標準的BNはスピアマン相関-0.216であった。
• ImageNetにおけるL2ノルムに基づく pruning において、適応的バッチ正則化はピアソン相関0.535を達成した。これに対して標準的BNは0.074にとどまり、L1ベースの pruning に限らず一般化可能であることが確認された。
• 本手法は、多様な設定においても強力な性能を維持した：CIFAR-10のMobileNetV1（0.655–0.857）、CIFAR-10のResNet-50（0.279–0.681）、ImageNetのMobileNetV2（-0.09～0.634）。
• 評価されたすべての設定において、適応的バッチ正則化手法はピアソン、スピアマン、ケンドールの全指標で高い相関を示し、高速なサブネットワーク評価における信頼性を裏付けた。