[論文レビュー] Towards Compact CNNs via Collaborative Compression

Yuchao Li, Shaohui Lin+8 more|arXiv (Cornell University)|May 24, 2021

Advanced Neural Network Applications参考文献 43被引用数 7

ひとこと要約

本稿では、高圧縮率でも精度の低下を最小限に抑えるために、畳み込みニューラルネットワーク（CNN）におけるチャネルプルーニングとテンソル分解を共同で最適化するpost-trainingフレームワーク、コラボラティブ圧縮（CC）を提案する。グローバル圧縮率最適化とマルチステップヒューリスティック圧縮を用いることで、ImageNet-1KでTop-1精度が0.56%低下するのみで、ResNet-50では52.9%のFLOPs削減と48.4%のパラメータ削減を達成した。

ABSTRACT

Channel pruning and tensor decomposition have received extensive attention in convolutional neural network compression. However, these two techniques are traditionally deployed in an isolated manner, leading to significant accuracy drop when pursuing high compression rates. In this paper, we propose a Collaborative Compression (CC) scheme, which joints channel pruning and tensor decomposition to compress CNN models by simultaneously learning the model sparsity and low-rankness. Specifically, we first investigate the compression sensitivity of each layer in the network, and then propose a Global Compression Rate Optimization that transforms the decision problem of compression rate into an optimization problem. After that, we propose multi-step heuristic compression to remove redundant compression units step-by-step, which fully considers the effect of the remaining compression space (i.e., unremoved compression units). Our method demonstrates superior performance gains over previous ones on various datasets and backbone architectures. For example, we achieve 52.9% FLOPs reduction by removing 48.4% parameters on ResNet-50 with only a Top-1 accuracy drop of 0.56% on ImageNet 2012.

研究の動機と目的

• 高圧縮状況下における個別的チャネルプルーニングとテンソル分解の性能が最適でない問題に対処する。
• 制御可能な圧縮率を備えていない既存のトレーニングに依存する手法の限界を克服する。
• 微調整や再トレーニングを必要とせず、スパarsityと低ランク性を共同で活用するpost-training圧縮フレームワークを開発する。
• モデルの精度を保持しつつ、自動的かつレイヤーワイズの圧縮率制御を可能にする。
• 除去されたユニットの動的影響と残りの圧縮空間を考慮することで、圧縮の信頼性と性能を向上させる。

提案手法

• 圧縮感度を指数関数的関数でモデル化し、最適なレイヤーワイズ圧縮率を求解するグローバル圧縮率最適化（GCRO）を提案する。
• 情報損失と圧縮率の間の指数フィットの一次微分として圧縮感度を定式化する。
• 過去の除去効果と残りの圧縮空間を考慮しながら、重要度の低いユニットを段階的に除去するマルチステップヒューリスティック圧縮（MSHC）を実装する。
• チャネルの大きさと特異値の大きさを統合した一貫した重要度指標を用いて、ユニットの除去をガイドする。
• 最適な圧縮率を決定した後、各レイヤーごとに独立して圧縮を適用し、圧縮率と戦略の共同最適化を避ける。
• 事前学習済みモデルを活用することで、微調整や再トレーニングを必要とせず、高速かつ実用的なpost-training圧縮を実現する。

Figure 1: The framework of our method. We first compute the group values between information loss and compression rate in each layer and then obtain the compression rate of each layer by solving a global compression rate optimization problem based on them. After that, we compress each layer independ

実験結果

リサーチクエスチョン

• RQ1 チャネルプルーニングとテンソル分解の共同最適化は、逐次的または個別的な圧縮手法よりも、高圧縮領域で優れた性能を発揮するか？
• RQ2 ハイパーパramータのチューニングなしに、レイヤーごとに自動的かつ信頼性高く圧縮率を決定できるか？
• RQ3 圧縮順序（プルーニングを分解の前に行うか、逆か）が最終的なモデル性能に与える影響は何か？
• RQ4 除去されたユニットの動的影響と残りの圧縮空間を考慮することで、圧縮の信頼性がどのように向上するか？
• RQ5 コラボラティブ圧縮は、FLOPsとパラメータを削減しながら、どの程度モデルの精度を保持できるか？

主な発見

• CCは、ImageNet-2012でResNet-50において52.9%のFLOPs削減と48.4%のパラメータ削減を達成し、Top-1精度はわずか0.56%低下した。
• VGG-16では、バッチサイズ32でCPU上で1.54倍の高速化が達成され、同じ条件下でResNet-50では1.36倍の高速化が得られた。
• マルチステップヒューリスティック圧縮（MSHC）の貢献度が、グローバル圧縮率最適化（GCRO）を上回っており、戦略の選択が圧縮率選択よりも重要であることが示された。
• 圧縮順序（プルーニングを分解の前に行うか、逆か）が最終精度にほとんど影響しないことから、ネットワーク構造が重み初期化順序よりも重要であることが示された。
• ResNet-50では、各ボトルネックブロックの最初の畳み込みレイヤーがスパarsityを好むのに対し、最後のレイヤーは低ランク性を好むことが分かった。これは、レイヤーごとの冗長性パターンの違いを示している。
• CCは、複数のアーキテクチャ（VGG、GoogleNet、ResNet、DenseNet）とデータセット（CIFAR-10、ImageNet-2012）において、圧縮効率と精度保持の両面で最先端の手法を上回った。

(a) Resnet56: B2-U8-C2