[論文レビュー] Pruning at a Glance: Global Neural Pruning for Model Compression

Abdullah Salama, Oleksiy Ostapenko+2 more|arXiv (Cornell University)|Nov 30, 2019

Advanced Neural Network Applications参考文献 22被引用数 7

ひとこと要約

本論文では、すべての層にわたるグローバルL1ノルムしきい値に基づいて、全フィルターやニューロンを一度に削除する、グローバルかつ構造的なニューラルプリンティング手法を提案する。この手法により、精度を落とさずに高い圧縮率が達成され、VGG-16、ResNet-56/110（CIFAR-10）、AlexNet、ResNet-34/50（ImageNet）で実証された。特に、30%圧縮されたResNet-50は、元のベースライン精度をわずかに上回った。

ABSTRACT

Deep Learning models have become the dominant approach in several areas due to their high performance. Unfortunately, the size and hence computational requirements of operating such models can be considerably high. Therefore, this constitutes a limitation for deployment on memory and battery constrained devices such as mobile phones or embedded systems. To address these limitations, we propose a novel and simple pruning method that compresses neural networks by removing entire filters and neurons according to a global threshold across the network without any pre-calculation of layer sensitivity. The resulting model is compact, non-sparse, with the same accuracy as the non-compressed model, and most importantly requires no special infrastructure for deployment. We prove the viability of our method by producing highly compressed models, namely VGG-16, ResNet-56, and ResNet-110 respectively on CIFAR10 without losing any performance compared to the baseline, as well as ResNet-34 and ResNet-50 on ImageNet without a significant loss of accuracy. We also provide a well-retrained 30% compressed ResNet-50 that slightly surpasses the base model accuracy. Additionally, compressing more than 56% and 97% of AlexNet and LeNet-5 respectively. Interestingly, the resulted models' pruning patterns are highly similar to the other methods using layer sensitivity pre-calculation step. Our method does not only exhibit good performance but what is more also easy to implement.

研究の動機と目的

• スマートフォンや埋め込みシステムなど、メモリやバッテリが制限されたデバイスに大規模なディープラーニングモデルをデプロイする課題に対処すること。
• 層ごとの感受性分析を必要とするか、特殊なハードウェアを要する非構造的スパarsity依存の従来のプリンティング手法の限界を克服すること。
• 精度を損なわず、コンactで、デプロイ可能な非スパースモデルを生成する、シンプルで効率的なプリンティング手法を開発すること。
• さまざまなアーキテクチャ（例：VGG、ResNet、AlexNet）において、高い圧縮比を実現するとともに、微調整後に性能が維持または向上することを可能にすること。

提案手法

• ネットワーク内の全層にわたって、各フィルターのL1ノルムを計算し、フィルターの重要度を評価する。
• 各フィルターのL1ノルムをそのカーネル重み数で正規化することで、異なるフィルターサイズを持つ層間での公平な比較を保証する。
• すべての正規化済みフィルターのノルムを統合し、グローバルな分布として扱い、順位付けすることでグローバルなプリンティングしきい値を決定する。
• 一度のグローバルしきい値を用いて、全層の最も重要なフィルター（および関連するニューロン）を同時に削除する。
• 繰り返しのプリンティングと微調整を組み合わせることで、高い圧縮率でもネットワークが適応し、精度を維持できるようにする。
• 全フィルターとニューロンを一度に削除する構造的プリンティングを実施することで、特別なハードウェアを要しない非スパースでデプロイ可能なモデルを生成する。

実験結果

リサーチクエスチョン

• RQ1 L1ノルム順位に基づく、層に依存しないグローバルなプリンティング戦略は、精度の低下を伴わずに高い圧縮率を達成できるか？
• RQ2 事前に層ごとの感受性を計算する必要がなくなることで、従来の手法と比較して、プリンティングの効率性と柔軟性が向上するか？
• RQ3 全層に同時に構造的プリンティングを適用することで、層単位または非構造的アプローチと比較して、より優れた圧縮率と精度のトレードオフが達成できるか？
• RQ4 特に高い圧縮率において、微調整を通じてグローバルプリンティングがモデル性能を保持あるいは向上させられる程度はどの程度か？
• RQ5 グローバルなフィルター重要度スコアは、層ごとの感受性指標と比較して、プリンティングパターンの正確性とモデルのロバスト性において優れているか？

主な発見

• 提案手法は、AlexNetで56%のパラメータ圧縮、LeNet-5で97%を超える圧縮を達成し、顕著な精度損失なしに実現した。
• CIFAR-10において、VGG-16、ResNet-56、ResNet-110は、ベースラインと比較して精度に変化がなかった。
• ImageNet上での30%圧縮されたResNet-50は、広範な微調整を経て、元のモデルをわずかに上回る精度を達成した。
• 本手法により、特殊なハードウェアやソフトウェアを要しない、極めて圧縮された非スパースモデルが生成された。
• プリンティングパターンは感受性に基づく手法と類似していたが、はるかに高いプリンティングレートを達成した。
• 多数の弱いニューロンが削除されたにもかかわらず、残存するニューロンの活性化が高まり、特に高い圧縮率下でも精度向上に寄与した。