[論文レビュー] SCOP: Scientific Control for Reliable Neural Network Pruning

Yehui Tang, Yunhe Wang+5 more|arXiv (Cornell University)|Oct 21, 2020

Advanced Neural Network Applications参考文献 46被引用数 85

ひとこと要約

SCOPは、事実上の科学的対照群としてノックオフ特徴を導入し、事前学習済みCNNのフィルターを信頼性高く剪定する。これにより、最小限の精度低下で大幅な圧縮を実現（例：ResNet-101でパラメータ57.8%削減、FLOPs 60.2%削減、top-1損失0.01%）。

ABSTRACT

This paper proposes a reliable neural network pruning algorithm by setting up a scientific control. Existing pruning methods have developed various hypotheses to approximate the importance of filters to the network and then execute filter pruning accordingly. To increase the reliability of the results, we prefer to have a more rigorous research design by including a scientific control group as an essential part to minimize the effect of all factors except the association between the filter and expected network output. Acting as a control group, knockoff feature is generated to mimic the feature map produced by the network filter, but they are conditionally independent of the example label given the real feature map. We theoretically suggest that the knockoff condition can be approximately preserved given the information propagation of network layers. Besides the real feature map on an intermediate layer, the corresponding knockoff feature is brought in as another auxiliary input signal for the subsequent layers. Redundant filters can be discovered in the adversarial process of different features. Through experiments, we demonstrate the superiority of the proposed algorithm over state-of-the-art methods. For example, our method can reduce 57.8% parameters and 60.2% FLOPs of ResNet-101 with only 0.01% top-1 accuracy loss on ImageNet. The code is available at https://github.com/huawei-noah/Pruning/tree/master/SCOP_NeurIPS2020.

研究の動機と目的

• 剪定決定における無関係な要因からの干渉を最小化することで、信頼性の高いフィルター剪定を動機づける。
• ノックオフ特徴を用いた科学的対照系の枠組みを提案し、本当に重要なフィルターを区別する。
• ノックオフデータを生成する効率的な方法を開発し、学習可能なスケーリング因子を用いて剪定に組み込む。
• CIFAR-10とImageNetデータセットで最先端の圧縮-精度トレードオフを実証する。

提案手法

• ノックオフ特徴を、実際の特徴と交換可能だがラベルには独立であるように定義する。
• ノックオフ特徴が2つの補題を介してネットワーク層を伝搬できることを示し、ジェネレータを再訓練せずに層ごとにノックオフを実現する。
• 実データとノックオフ特徴を同時にスケーリングし、beta + beta~ = 1という制約を課す対作敵的選択層を導入する。
• ラベル付きデータを用いて実データとノックオフ特徴のスケーリング因子を最適化し、ノックオフより実データに依存するフィルターを識別する。
• I = beta - beta~ (BNスケールが存在する場合は調整) を用いて重要度統計量を計算し、フィルターを剪定する。
• 剪定後のネットワークを微調整して性能を回復または向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノックオフ特徴は剪定中に冗長なCNNフィルターを識別する有効な対照群として機能するか。
• RQ2 ノックオフデータを効率的に生成し、深層ネットワークを通じて伝搬させて信頼性のある剪定を支援できるか。
• RQ3 SCOPを用いた剪定結果は、標準ベンチマークで最先端手法と比較して精度-パラメータ/ FLOPsのトレードオフを改善するか。
• RQ4 提案されたSCOPフレームワークは、アーキテクチャやデータセット（CIFAR-10とImageNet）全体で頑健か。

主な発見

• SCOPはCIFAR-10でパラメータとFLOPsを大幅に削減し、いくつかの最先端剪定法よりも精度を良好に維持（例：ResNet-56：FLOPs削減56.0%、精度低下0.06%）。
• ImageNetでは、多くのベースラインより大きな圧縮で競合するtop-1/top-5精度を達成（例：ResNet-50：top-1 24.74%、顕著なFLOPs削減）。
• SCOPはResNet-101で57.8%のパラメータ削減と60.2%のFLOPs削減を達成し、top-1精度損失は0.01%にとどまる。
• アブレーション研究は、対照群を除去すると誤差が増加することを示し、信頼性のある剪定のためのノックオフの重要性を裏付ける。
• GPUでの現実的な加速は、理論上のFLOPs削減と一致し、SCOPの実践的利点を裏付ける。