[論文レビュー] Deep Model Compression based on the Training History

S. H. Shabbeer Basha, Mohammad Farazuddin+3 more|arXiv (Cornell University)|Jan 30, 2021

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、トレーニング履歴を活用して、エポックごとのℓ₁ノルムの類似性を分析することで、冗長なフィルタを同定・削除する、新しいフィルタープルーニング手法であるHistory Based Filter Pruning (HBFP)を提案する。トレーニング履歴を用いて冗長なフィルタを同定し、プルーニングの前後に情報損失を最小限に抑えるようにフィルタペアを最適化することで、LeNet-5では最大97.98%のFLOPs削減を達成しながら、低い誤差率を維持し、最先端の手法を上回る性能を発揮する。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have shown promising performances in several visual recognition problems which motivated the researchers to propose popular architectures such as LeNet, AlexNet, VGGNet, ResNet, and many more. These architectures come at a cost of high computational complexity and parameter storage. To get rid of storage and computational complexity, deep model compression methods have been evolved. We propose a "History Based Filter Pruning (HBFP)" method that utilizes network training history for filter pruning. Specifically, we prune the redundant filters by observing similar patterns in the filter's L1-norms (absolute sum of weights) over the training epochs. We iteratively prune the redundant filters of a CNN in three steps. First, we train the model and select the filter pairs with redundant filters in each pair. Next, we optimize the network to ensure an increased measure of similarity between the filters in a pair. This optimization of the network facilitates us to prune one filter from each pair based on its importance without much information loss. Finally, we retrain the network to regain the performance, which is dropped due to filter pruning. We test our approach on popular architectures such as LeNet-5 on MNIST dataset; VGG-16, ResNet-56, and ResNet-110 on CIFAR-10 dataset, and ResNet-50 on ImageNet. The proposed pruning method outperforms the state-of-the-art in terms of FLOPs reduction (floating-point operations) by 97.98%, 83.42%, 78.43%, 74.95%, and 75.45% for LeNet-5, VGG-16, ResNet-56, ResNet-110, and ResNet-50, respectively, while maintaining the less error rate.

研究の動機と目的

• リソース制約のあるデバイスにおける深層畳み込みニューラルネットワーク（CNN）の高い計算コストとストレージコストを低減すること。
• 静的指標ではなくトレーニングダイナミクスを活用することで、フィルタープルーニングの効率を向上させること。
• 削除の前に行うフィルタ類似度の最適化により、プルーニング中の情報損失を最小限に抑えること。
• 既存の手法よりも高い圧縮率を達成しながら、モデルの精度を維持すること。
• ImageNetを含む多様なアーキテクチャとデータセットにおいて、本手法の有効性を検証すること。

提案手法

• 本手法は、トレーニングエポックにわたるフィルタのℓ₁ノルムの絶対差の和を測定することで、冗長なフィルタペアを同定する。
• フィルタペアのℓ₁ノルムの差を最小化するためのカスタム正則化項を導入し、冗長性を高め、プルーニング時の情報損失を低減する。
• 冗長ペアから、ℓ₁ノルムの絶対値が小さい方のフィルタをプルーニングすることで、重要度が低いフィルタを優先的に削除する。
• 各プルーニングイテレーション後に微調整（fine-tuning）を実施することで、フィルタ削除による性能低下を回復する。
• 段階的な圧縮を達成するために、このプロセスを繰り返し適用する。
• 本手法は、ℓ₂ノルムやコサイン類似度などの他の指標に対しても適応可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニング履歴を効果的に活用することで、顕著な性能低下を伴わずに冗長なフィルタを同定し、プルーニングできるか？
• RQ2 直接的なプルーニングと比較して、プルーニングの前段階でフィルタ類似度を最適化することで、情報損失を低減できるか？
• RQ3 提案手法は、最先端のフィルタープルーニング技術よりも高いFLOPs削減を達成できるか？
• RQ4 本手法は、ImageNetを含むさまざまなアーキテクチャとデータセットにおいて、どのように性能を発揮するか？
• RQ5 カスタム正則化項の使用が、プルーニング後の精度を顕著に向上させるか？

主な発見

• HBFPはLeNet-5において、最小限の精度損失で97.98%のFLOPs削減を達成し、先行研究を上回る性能を示した。
• VGG-16では、83.42%のFLOPs削減を達成しながら高い精度を維持し、最先端の結果を上回った。
• CIFAR-10におけるResNet-56およびResNet-110では、それぞれ78.43%および74.95%のFLOPs削減が達成され、競争力のある精度を維持した。
• ImageNetを用いたResNet-50では、FLOPsを75.45%削減し、パラメータ数を68.30%削減し、トップ-1精度69.17%を達成した。
• アブレーションスタディの結果、カスタム正則化項がプルーニング中の情報損失を最小限に抑えることで、性能の顕著な向上をもたらすことが確認された。
• HBFPは、MNIST、CIFAR-10、ImageNetを含む低解像度および高解像度のデータセットにおいて、優れたロバスト性を示した。