[論文レビュー] ChipNet: Budget-Aware Pruning with Heaviside Continuous Approximations

Rishabh Tiwari, Udbhav Bamba+2 more|arXiv (Cornell University)|Feb 14, 2021

Advanced Neural Network Applications参考文献 35被引用数 31

ひとこと要約

ChipNetは決定論的で予算認識型の構造化プルーニング手法を提示します。連続的なヘビサイド投影とクリスプネス損失を用いて、事前に訓練された密なモデルから非常にスパースなプルーニング済みネットワークを得ることができ、複数の予算とデータセットに渡って最先端のベースラインを上回ります。

ABSTRACT

Structured pruning methods are among the effective strategies for extracting small resource-efficient convolutional neural networks from their dense counterparts with minimal loss in accuracy. However, most existing methods still suffer from one or more limitations, that include 1) the need for training the dense model from scratch with pruning-related parameters embedded in the architecture, 2) requiring model-specific hyperparameter settings, 3) inability to include budget-related constraint in the training process, and 4) instability under scenarios of extreme pruning. In this paper, we present ChipNet, a deterministic pruning strategy that employs continuous Heaviside function and a novel crispness loss to identify a highly sparse network out of an existing dense network. Our choice of continuous Heaviside function is inspired by the field of design optimization, where the material distribution task is posed as a continuous optimization problem, but only discrete values (0 or 1) are practically feasible and expected as final outcomes. Our approach's flexible design facilitates its use with different choices of budget constraints while maintaining stability for very low target budgets. Experimental results show that ChipNet outperforms state-of-the-art structured pruning methods by remarkable margins of up to 16.1% in terms of accuracy. Further, we show that the masks obtained with ChipNet are transferable across datasets. For certain cases, it was observed that masks transferred from a model trained on feature-rich teacher dataset provide better performance on the student dataset than those obtained by directly pruning on the student data itself.

研究の動機と目的

• 再訓練をゼロから行わずに任意の予算制約を課すことができる、堅牢な構造化プルーニングを動機づける。
• 勾配ベースの最適化を用いて、密なネットワークからほぼ離散的なチャンネルマスクを生み出すプルーニング機構を開発する。
• 極端に低い予算設定下での安定性を確保し、学習済みマスクのデータセット間の転移性を示す。
• ChipNetが他の既存プルーニング手法と比較して、さまざまな予算下で優れた精度を達成することを示す。

提案手法

• 事前に訓練されたdense CNNのチャンネルに対してスパース性マスクを学習する。
• 連続的なヘビサイド投影とロジスティック代理を組み合わせてマスクを0または1へと誘導する。
• 中間のマスク値を罰するクリスプネス損失を導入して、離散的なマスクを促進する。
• チャンネル、活性化体積、パラメータ、または FLOPs の予算に対応できる予算損失を介して予算制約を課す。
• クロスエントロピー、クリスプネス、予算項を含む結合損失でトレーニングする。ソフトプルーニングを実行し、その後バイナリマスキングによるハードプルーニングを行う。
• 予算関数 V をチャンネル、ボリューム、パラメータ、FLOPs のいずれかのオプションとし、予算付けの際にはマスクのロジスティック投影版で推定を計算することを許可する。

実験結果

リサーチクエスチョン

• RQ1 再訓練をゼロから行わずに、決定論的で予算認識型のプルーニング手法は高いスパース性を持つネットワークを生み出せるか。
• RQ2 連続的なヘビサイド投影とクリスプネス損失は、多様な予算制約を満たすほぼ離散的なマスクを生み出すか。
• RQ3 学習されたプルーニングマスクはデータセットやタスク領域を超えて転移可能か。
• RQ4 複数の予算設定における最先端の予算認識型プルーニング手法と比較して、ChipNetの性能はどうか。
• RQ5 非常に低リソース予算（例：極端なプルーニング）下でChipNetは安定して効果的か。

主な発見

• ChipNetは異なる予算タイプとデータセット全体で、最先端のプルーニングベースラインを一貫して上回る。
• この手法は非常に低い予算でも安定して効果的であり、極端なプルーニングを含む状況でも同様。
• ChipNetで学習したマスクはデータセット間で転移可能であり、場合によってはターゲットデータ上で直接学習したマスクよりも優れている。
• いくつかの実験で、ChipNetは同様の予算下でベースラインに対して顕著な差分の精度向上を達成した。
• 特徴量豊富な教師データセットからのマスク転移は、学生データのみでのプルーニングよりも学生の性能を向上させることがある。