[論文レビュー] MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning

Zechun Liu, Haoyuan Mu+5 more|arXiv (Cornell University)|Mar 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 99

ひとこと要約

MetaPruning は PruningNet を訓練して任意の剪定構造の重みを予測し、進化的探索で FLOPs/遅延制約下の高性能剪定ネットワークを見つける。微調整なしで効率的な AutoML 風のチャネル剪定を実現。MobileNet と ResNet の精度をベースラインより向上。

ABSTRACT

In this paper, we propose a novel meta learning approach for automatic channel pruning of very deep neural networks. We first train a PruningNet, a kind of meta network, which is able to generate weight parameters for any pruned structure given the target network. We use a simple stochastic structure sampling method for training the PruningNet. Then, we apply an evolutionary procedure to search for good-performing pruned networks. The search is highly efficient because the weights are directly generated by the trained PruningNet and we do not need any finetuning at search time. With a single PruningNet trained for the target network, we can search for various Pruned Networks under different constraints with little human participation. Compared to the state-of-the-art pruning methods, we have demonstrated superior performances on MobileNet V1/V2 and ResNet. Codes are available on https://github.com/liuzechun/MetaPruning.

研究の動機と目的

• チャネル剪定における手動ハイパーパラメータ調整を削減するため、様々な剪定構造の重みを生成できるメタネットワークを学習する。
• 微調整なしで剪定ネットワークの重みを予測することで、剪定アーキテクチャの高速探索を可能にする。
• 剪定探索過程に FLOPs および遅延などの制約を組み込む。
• ResNet 系統のショートカット/剪定構造をメタ学習を通じて扱う。
• MobileNet および ResNet で、均一剪定および既存の AutoML ベースの剪定法より高精度を実証する。

提案手法

• ネットワークエンコードベクトル（各層のチャネル数）を given して、任意の剪定構造の重みを生成する Meta ネットワーク "PruningNet" を訓練する。
• 剪定構造の分布にわたって PruningNet を訓練するため、確率的構造サンプリングを用いる。
• エンコードベクトルを変化させることで剪定ネットワークを構築し、PruningNet 生成重みを用いて検証精度を評価する（微調整なし）。
• 制約付きの剪定アーキテクチャを探索するため、進化的検索を適用して高性能な構造を特定する。
• 各層ごとに剪定後の入力/出力チャネルに PruningNet 生成重みを切り取って評価する。
• FLOPs および遅延制約の下で、均一剪定ベースラインおよび最先端のチャネル剪定手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 単一の訓練済み PruningNet が広範な剪定ネットワーク構造の重みを生成できるか。
• RQ2 PruningNet を用いた進化的探索が、微調整なしで FLOPs/遅延制約下で高品質な剪定アーキテクチャを見つけられるか。
• RQ3 MetaPruning は MobileNet および ResNet に対して、均一剪定および既存の AutoML ベースの剪定法と比較してどのような性能を示すか。
• RQ4 MetaPruning は ResNet 系のショートカットブロックのチャネル剪定を効果的に行えるか。
• RQ5 PruningNet による重み予測が剪定性能に与える影響は何か。

主な発見

ネットワーク	FLOPs	Top1-精度
均一ベースライン（ResNet-50）	4.1G	76.6%
0.75× ResNet-50	2.3G	74.8%
0.5× ResNet-50	1.1G	72.0%
ThiNet-70	2.9G	75.8%
ThiNet-50	2.1G	74.7%
ThiNet-30	1.2G	72.1%
CP	2.0G	73.3%
MetaPruning - 0.85×	3.0G	76.2%
MetaPruning - 0.75×	2.0G	75.4%
MetaPruning - 0.5×	1.0G	73.4%

• MetaPruning は FLOPs を同等に保った場合、MobileNet V1、MobileNet V2、ResNet-50 で均一剪定ベースラインより高い精度を達成する。
• 同等のレイテンシにおいて、MetaPruning は MobileNet V1/V2 のベースラインを最大 9.9 ポイントの Top-1 精度で上回る。
• MetaPruning は同等の FLOPs で ResNet-50 に対して ThiNet、CP、SFP の剪定法を上回る。
• AutoML 剪定法 AMC および NetAdapt と比較して、同様の FLOPs で MetaPruning がより高い精度を示す。
• PruningNet は多くの剪定構造にわたる重みを予測でき、探索中の再訓練を必要とせず効率的な探索を可能にする。