[論文レビュー] Efficient Inference of CNNs via Channel Pruning

Boyu Zhang, Azadeh Davoodi+1 more|arXiv (Cornell University)|Aug 8, 2019

Advanced Neural Network Applications参考文献 28被引用数 9

ひとこと要約

本稿では、畳み込み層における冗長な入力チャネルを特定・削除することで、CNNにおけるFLOPsを効率的に削減するピボットQR分解に基づくチャネルプルーニング手法を提案する。VGG-16では最大4.29倍、ResNet-50では2.84倍の計算削減を達成し、トップ5精度がわずか~1.4%低下するのみで、従来手法に比べて効率性と精度のトレードオフにおいて優れている。

ABSTRACT

The deployment of Convolutional Neural Networks (CNNs) on resource constrained platforms such as mobile devices and embedded systems has been greatly hindered by their high implementation cost, and thus motivated a lot research interest in compressing and accelerating trained CNN models. Among various techniques proposed in literature, structured pruning, especially channel pruning, has gain a lot focus due to 1) its superior performance in memory, computation, and energy reduction; and 2) it is friendly to existing hardware and software libraries. In this paper, we investigate the intermediate results of convolutional layers and present a novel pivoted QR factorization based channel pruning technique that can prune any specified number of input channels of any layer. We also explore more pruning opportunities in ResNet-like architectures by applying two tweaks to our technique. Experiment results on VGG-16 and ResNet-50 models with ImageNet ILSVRC 2012 dataset are very impressive with 4.29X and 2.84X computation reduction while only sacrificing about 1.40\% top-5 accuracy. Compared to many prior works, the pruned models produced by our technique require up to 47.7\% less computation while still achieve higher accuracies.

研究の動機と目的

• モバイルや組み込みシステムなどのリソース制約のあるデバイスに大規模なCNNをデプロイする際の高い計算コスト、メモリ使用量、エネルギー消費を低減すること。
• 個々の重みではなく、完全なチャネルを削除することで、ハードウェアおよびソフトウェアの高速化を可能にする構造的プルーニング手法の開発。
• スキップ接続の相互作用を考慮したアーキテクチャに配慮した変更を導入することで、残差ネットワークにおけるより深いプルーニングの機会を探索すること。
• 従来のプルーニング技術に比べ、モデルの効率性（FLOPs）と精度のトレードオフにおいて優れた性能を達成すること。
• 量子化や低ランク近似などの他の圧縮手法と組み合わせ可能な柔軟で直交的な技術を提供すること。

提案手法

• 本手法は、チャネルプルーニングをサブセット選択問題として定式化する。具体的には、活性化行列の列空間を最もよく再構成できる入力チャネルのサブセットを選択する。ピボットQR分解を用いることで、最適なチャネル集合を効率的に近似可能となる。
• ピボットQR分解により、活性化行列の列空間への寄与度に基づいて、情報量の多い入力チャネルをグリーディに選択可能となる。
• アルゴリズムは層ごとに適用され、感度解析によりプルーニングの上限が決定される。感度の高い層では最大40%のチャネルをプルーニングすることで、精度を維持する。
• 残差ネットワークに特化した2つのアーキテクチャ的改良を導入し、残差パスの相互作用を考慮することで、より積極的なプルーニングを可能にした。
• プルーニング後は微調整により精度を回復させ、既存のディープラーニングフレームワークおよびハードウェアアクセラレータと互換性がある。
• 本手法は他の圧縮技術と直交しており、量子化、低ランク近似、重みプルーニングなどと組み合わせることで、さらなる効率性の向上が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ピボットQR分解を用いることで、CNNの層において冗長な入力チャネルを効果的に特定・削除しつつ、モデル性能を維持できるか？
• RQ2 提案手法のFLOP削減効果と精度保持性能は、従来の構造的プルーニング手法と比較してどの程度優れているか？
• RQ3 アーキテクチャに配慮した改良を導入することで、残差ネットワークにおけるプルーニングの機会はどの程度拡大できるか？
• RQ4 GPUおよび組み込みプラットフォームにおける理論的FLOP削減と実際の推論性能の間には、どの程度のスピードアップギャップが生じるか？
• RQ5 複数のプルーニング手法における計算コストと精度のトレードオフを比較した場合、本手法は設計空間においてより優れたパラメータポイントを提供できるか？

主な発見

• 提案手法は、VGG-16でFLOPsを4.29倍削減しながらも、トップ5精度がわずか1.40%低下した。これは、従来手法に比べて、効率性と精度のトレードオフにおいて顕著に優れた性能を示している。
• ResNet-50では2.84倍のFLOP削減を達成し、トップ1精度が2.50%低下した。これは、ThiNetや他の先行研究に比べて最大47.7%少ない計算量で実現可能であり、より高い精度を維持している。
• Soft Filter Pruning (SFP) や Pruning Filters (PF) と比較して、プルーニング後のモデルは11.7%～39.6%のFLOPs削減を達成したが、トップ5精度は0.17%～1.18%わずかに低下した。
• GTX 1080Ti GPU上での実際のスピードアップは、VGG-16で1.87倍、ResNet-50で1.57倍であった。これは、GPUキャッシュやメモリアクセスの影響により、理論的FLOP削減と実際の性能にギャップが生じていることを示している。
• 本手法は複数のベンチマークで優れた性能を示した。CPを除くすべての手法よりも少ない計算量を要したが、ほとんどのケースでトップ1/5精度が高く維持された。
• 本手法は非常に柔軟であり、量子化や低ランク近似などの他の圧縮手法と組み合わせ可能で、モデルデプロイにおけるさらなる効率性向上が可能である。