[論文レビュー] Structured Pruning is All You Need for Pruning CNNs at Initialization

Yaohui Cai, Weizhe Hua+4 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Neural Network Applications被引用数 13

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）の初期化段階で、新しい期待値ベースのプロキシ（SynExp）を用いて層ごとのチャネル密度を最適化することで、構造的スパarsityを実現するPreCropを提案する。これにより、ハードウェアにやさしい構造的スパarsityを実現しながら、最先端の精度を達成する。PreCropは、ImageNet上での細分化されたPAI手法（例：SynFlow）を最大2.7%上回り、初期化前のネットワーク幅のパラメータフリー再構成であるPreConfigにより、精度の向上を実現する。

ABSTRACT

Pruning is a popular technique for reducing the model size and computational cost of convolutional neural networks (CNNs). However, a slow retraining or fine-tuning procedure is often required to recover the accuracy loss caused by pruning. Recently, a new research direction on weight pruning, pruning-at-initialization (PAI), is proposed to directly prune CNNs before training so that fine-tuning or retraining can be avoided. While PAI has shown promising results in reducing the model size, existing approaches rely on fine-grained weight pruning which requires unstructured sparse matrix computation, making it difficult to achieve real speedup in practice unless the sparsity is very high. This work is the first to show that fine-grained weight pruning is in fact not necessary for PAI. Instead, the layerwise compression ratio is the main critical factor to determine the accuracy of a CNN model pruned at initialization. Based on this key observation, we propose PreCropping, a structured hardware-efficient model compression scheme. PreCropping directly compresses the model at the channel level following the layerwise compression ratio. Compared to weight pruning, the proposed scheme is regular and dense in both storage and computation without sacrificing accuracy. In addition, since PreCropping compresses CNNs at initialization, the computational and memory costs of CNNs are reduced for both training and inference on commodity hardware. We empirically demonstrate our approaches on several modern CNN architectures, including ResNet, ShuffleNet, and MobileNet for both CIFAR-10 and ImageNet.

研究の動機と目的

• 既存の初期化段階でのスプライシング（PAI）手法が、非構造的かつスパースな計算に依存しているため、標準的なハードウェアではウォールクロックスピードアップが困難であるという制限に対処すること。
• PAIにおけるモデル精度が、スプライシングの細分化に依存せず、層ごとのパラメータ密度にのみ依存することを特定し、精度損なわず構造的スプライシングを可能にすること。
• FLOPsまたはパラメータ制約下で最適な層ごとの密度を決定するため、新しいプロキシ「合成予想（Synaptic Expectation: SynExp）」を用いた凸最適化フレームワークを構築すること。
• 構造的PAI手法PreCropを提案し、ハードウェア効率を高めるためにチャネル次元でスプライシングを行う。また、重み初期化の前に行うパラメータフリー再構成技術PreConfigを提案すること。
• 粗粒度の構造的スプライシングが、細分化された非構造的スプライシングと同等またはそれ以上の性能を達成でき、かつ一般のハードウェア上で実用的なスピードアップとモデル圧縮を可能にすることを示すこと。

提案手法

• モデル精度のプロキシとして、層内のすべての重みの重要度スコアの期待値の合計であるSynExp（合成予想）を導入し、従来の手法で用いられる合計値に置き換える。
• モデルサイズまたはFLOPsの制約下でSynExpを最小化する凸最適化問題としてPAIを定式化し、効率的かつ最適な層ごとの密度選択を可能にする。
• SynExp不変定理を証明する：同じ層ごとの密度であれば、スプライシングの細分化にかかわらずモデル精度が変化しない。これにより、構造的スプライシングの正当性が裏付けられる。
• 最適化された層ごとの密度に基づき、全チャネルを一度にスプライシングする構造的PAI手法PreCropを設計し、密行列演算と互換性を持つようにする。
• 重み初期化の前に行うパラメータフリー再構成技術PreConfigを導入し、同じSynExp最適化密度を用いてチャネル幅を調整する。
• ResNet、MobileNetV2、EfficientNetをCIFAR-10およびImageNetで評価し、公平な比較のため同一の訓練ハイパーパrameterを用いてPreCropおよびPreConfigを実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 初期化段階でスプライシングされたCNNの精度は、スプライシングの細分化にかかわらず、各層の残存パラメータの割合にのみ依存するか？
• RQ2 新しい期待値ベースのプロキシ（SynExp）の凸最適化が、従来のPAI手法を上回る精度を達成し、構造的スパarsityを実現できるか？
• RQ3 チャネル次元での構造的スプライシングが、細分化された非構造的スプライシングと同等またはそれ以上の精度を達成でき、一般のハードウェア上で実用的なウォールクロックスピードアップを可能にするか？
• RQ4 初期化の前に行うネットワーク幅の再構成（PreConfig）が、元のアーキテクチャと比較してより少ないパラメータとFLOPsで精度を向上させられるか？
• RQ5 提案されたSynExpベースの最適化フレームワークが、SynFlowなどの最先端のPAI手法と比較して、モデルサイズ、FLOPs、精度のトレードオフをより良く実現できるか？

主な発見

• ImageNet上での80%の元のFLOPsを維持した状態でスプライシングした場合、PreCropはMobileNetV2でSynFlowを2.7%上回る精度を達成した。
• EfficientNetB0では、パラメータをベースラインの80%に削減しながらFLOPsを同じに保ち、精度をSynFlowよりも0.3%向上させた。
• ResNet34では、FLOPsとパラメータ数が類似した条件下で、PreCropはSynFlowより0.6%低い精度であったが、依然として強力な競争力を持つ性能を示した。
• PreConfigは、MobileNetV2とEfficientNetB0でそれぞれ20%および19%の少ないパラメータで、FLOPsをベースラインと同等に保ちながら、精度を0.3%向上させた。
• PreCrop-FLOPsは、FLOPs削減率が高いほど顕著にSynFlowを上回り、計算制約下での優れた効率性を示した。
• SynExp不変定理は実験的に妥当性が確認された：同じ層ごとの密度であれば、スプライシングの細分化にかかわらず類似した精度が得られ、精度損なわず構造的スプライシングが可能である。