[論文レビュー] Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers

Jianbo Ye, Xin Lu+2 more|arXiv (Cornell University)|Jan 31, 2018

Advanced Neural Network Applications被引用数 206

ひとこと要約

この論文は、より小さなノルムの特徴が情報量の少ないことに依存せずにCNNのチャンネルを剪定する方法を導入します。エンドツーエンドのISTAベースのバッチノーマライゼーション gamma パラメータのスパース化を用いてチャンネルをゲートし、gamma-W のスケーリングトリックを用いることで、微調整後に競争力のある精度を維持しつつコンパクトなモデルを実現します。

ABSTRACT

Model pruning has become a useful technique that improves the computational efficiency of deep learning, making it possible to deploy solutions in resource-limited scenarios. A widely-used practice in relevant work assumes that a smaller-norm parameter or feature plays a less informative role at the inference time. In this paper, we propose a channel pruning technique for accelerating the computations of deep convolutional neural networks (CNNs) that does not critically rely on this assumption. Instead, it focuses on direct simplification of the channel-to-channel computation graph of a CNN without the need of performing a computationally difficult and not-always-useful task of making high-dimensional tensors of CNN structured sparse. Our approach takes two stages: first to adopt an end-to- end stochastic training method that eventually forces the outputs of some channels to be constant, and then to prune those constant channels from the original neural network by adjusting the biases of their impacting layers such that the resulting compact model can be quickly fine-tuned. Our approach is mathematically appealing from an optimization perspective and easy to reproduce. We experimented our approach through several image learning benchmarks and demonstrate its interesting aspects and competitive performance.

研究の動機と目的

• CNNにおける剪定の際、小さなノルム特徴に依存する前提を疑う。
• チャンネル間の計算グラフを直接単純化するチャンネル剪定法を提案する。
• 高次元の構造的スパース性を避け、代わりに batchnorm のスケーリングパラメータ (gamma) をスパース化する。
• 最小限の追加パラメータでエンドツーエンドの剪定を可能にし、再現性を容易にする。
• 事前学習済みネットワークを用いた CIFAR-10 および ImageNet規模のモデルで有効性を示す。

提案手法

• CNNを各チャンネルで gate する gamma を持つチャンネル間情報フローとしてモデル化する。
• エンドツーエンドの学習中に ISTA (Iterative Shrinkage-Thresholding Algorithm) を用いて gamma をスパース化し、剪定経路の出力を一定に保つチャンネルを促進する。
• トレーニング中の剪定を加速する gamma-W のスケーリングトリックを適用し、剪定後にスケーリングを元に戻す。
• gamma[k] がゼロになると、 Following 層のバイアスを吸収/調整して機能を保ち、新たなパラメータなしで剪定を可能にする。
• 得られたコンパクトモデルを微調整して小さな性能低下を回復する。
• ハイパーパラメータ調整の実践的ガイドライン（mu, rho, alpha）と、一定チャンネルを削除する切り捨て/後処理ステップを提供する。

実験結果

リサーチクエスチョン

• RQ1 チャンネル剪定は、重みノルムに依存するのではなく、batchnorm のスケーリングパラメータ (gamma) をスパース化することで効果的に実現できるのか？
• RQ2 エンドツーエンドの ISTA ベース γ スパース化は、標準ベンチマークで競争力のある精度を持つコンパクトな CNN を生むのか？
• RQ3 提案する gamma-W スケーリングトリックは、特に事前学習済みモデルに対して剪定速度と安定性にどのような影響を与えるのか？
• RQ4 CIFAR-10 および ImageNet規模のネットワークで剪定後のモデルサイズと計算量（FLOPs/パラメータ）は実用的にどう変化するのか？
• RQ5 ResNet や Inception 系モジュールなど、異なるアーキテクチャおよび事前学習シナリオに対して手法の頑健性はどの程度か？

主な発見

• この手法は、CIFAR-10（ConvNet と ResNet-20）で競争力のある精度を維持しつつ、パラメータとチャンネルを大幅に削減できる。
• ImageNet（ILSVRC2012）における ResNet-101 の剪定モデルは、Top-5 誤差の増加が最小限（0.5% 未満）で大幅な圧縮を達成。
• gamma-W スケーリングトリックは、事前学習済みモデルの剪定を加速し、元の学習時間のごく一部で剪定を実現できる。
• セマンテーションの例では、剪定によりパラメータと FLOPs の大幅な削減を達成しつつ、複数データセットで平均 IOU を維持または向上させた。
• 剪定の有効性は過剰パラメータ化と相関があり、飽和したネットワークに対して過度な剪定は性能を劣化させる可能性があるが、過剰パラメータ化された基盤では有利なトレードオフが見られる。