[論文レビュー] Revisiting Random Channel Pruning for Neural Network Compression

Yawei Li, Kamil Adamczewski+4 more|arXiv (Cornell University)|May 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

この論文は、ニューラルネットワーク圧縮のためのシンプルで効果的なベースラインとして、ランダムチャネルプルーニングを再評価し、チャネル構成のランダムサーチがしばしば複雑なプルーニング手法を上回ることを示している。驚くべきことに、L1/L2ノルム基準は高度な重要度指標と同等の性能を示し、事前学習された重みがなくてもランダムプルーニングはほぼ最適な性能を達成する。これは、ベンチマーク評価における標準化されたファインチューニングプロトコルの必要性を浮き彫りにしている。

ABSTRACT

Channel (or 3D filter) pruning serves as an effective way to accelerate the inference of neural networks. There has been a flurry of algorithms that try to solve this practical problem, each being claimed effective in some ways. Yet, a benchmark to compare those algorithms directly is lacking, mainly due to the complexity of the algorithms and some custom settings such as the particular network configuration or training procedure. A fair benchmark is important for the further development of channel pruning. Meanwhile, recent investigations reveal that the channel configurations discovered by pruning algorithms are at least as important as the pre-trained weights. This gives channel pruning a new role, namely searching the optimal channel configuration. In this paper, we try to determine the channel configuration of the pruned models by random search. The proposed approach provides a new way to compare different methods, namely how well they behave compared with random pruning. We show that this simple strategy works quite well compared with other channel pruning methods. We also show that under this setting, there are surprisingly no clear winners among different channel importance evaluation methods, which then may tilt the research efforts into advanced channel configuration searching methods.

研究の動機と目的

• ランダムチャネルプルーニングが、高度なプルーニング手法を比較するためのベースラインとしての有効性を評価すること。
• チャネル構成のランダムサーチが、最先端のプルーニングアルゴリズムを上回るか同等の性能を発揮するかどうかを調査すること。
• ファインチューニングエポック数とプルーニング基準が、プルーニングモデルの性能に与える影響を評価すること。
• 効果的なプルーニングには、複雑な重要度指標が必要であるという仮定に疑問を呈すること。
• 今後のチャネルプルーニング手法のベンチマーク評価において、標準化されたファインチューニングプロトコルの導入を提言すること。

提案手法

• 各層のチャネル数を独立に選択することで、アーキテクチャ空間における探索として、プルーニングを扱い、サブネットワークの集団をランダムにサンプリングする。
• 事前学習済みモデルでは、さまざまなチャネル重要度基準（例：L1、L2、SNIP、Grad-CAM）を用いてランダムプルーニングを実行し、バリデーションセット上で性能を評価する。
• スクラッチからのプルーニングでは、ランダムに初期化されたネットワークを訓練・プルーニングし、アーキテクチャを再パラメータ化してエンドツーエンドの訓練とプルーニングを可能にする。
• ランダムサーチ中の評価コストを削減するため、バリデーションサブセット（例：5,000サンプル）を縮小して使用する。
• 公平な比較を可能にするために、すべての手法でファインチューニングエポック数を標準化し、その強い影響を強調する。
• 一貫した設定のもとで、データセット（CIFAR-10、ImageNet）およびネットワークアーキテクチャ（ResNet-18、ResNet-50）を対象に結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 公平な比較条件下で、ランダムチャネルプルーニングは最先端のプルーニングアルゴリズムを上回るか同等の性能を示すか？
• RQ2 同じランダムプルーニング環境下で、さまざまなチャネル重要度基準（例：L1、L2、SNIP）はどのように比較されるか？
• RQ3 ファインチューニングエポック数が、プルーニングモデルの性能にどの程度影響を与えるか？
• RQ4 スクラッチからのランダムプルーニングは、事前学習済みモデルのプルーニングと同等の性能を達成できるか？
• RQ5 MetaPruning や HRank などの高度なアーキテクチャ探索手法と比べて、ランダムプルーニングはどのように比較されるか？

主な発見

• CIFAR-10では、ランダムプルーニングは比較されたあらゆるプルーニング手法と同等以下の性能にとどまらず、より簡単なベンチマークの強力なベースラインとして機能可能であることが示された。
• ImageNetでは、少ないファインチューニングエポック数と高いプルーニング比のもとで、SFP、GAL、SSS よりもランダムプルーニングが優れた性能を示した。
• より少ないファインチューニングエポック数とより大きな残存モデルを用いても、HRank と同等の性能をランダムプルーニングが達成しており、強力な一般化能力を示している。
• より長いファインチューニングとアーキテクチャの変更を加えても、MetaPruning はランダムプルーニングをわずかに上回るにとどまり、複雑な手法の限界効果が顕著に現れている。
• プルーニングモデルの性能はファインチューニングエポック数に極めて敏感である：ResNet-50では、25エポックから100エポックに増やすことでTop-1誤差が0.75%低下した。
• ランダムサンプル数（20から1000に）を増やす効果は単調に減少するが、飽和しないことから、より効率的な探索戦略の必要性が示唆された。