[論文レビュー] LeGR: Filter Pruning via Learned Global Ranking.

Ting-Wu Chin, Ruizhou Ding+2 more|arXiv (Cornell University)|Apr 28, 2019

Advanced Neural Network Applications参考文献 17被引用数 22

ひとこと要約

LeGRは、畳み込みフィルタの学習されたグローバルランク付けを用いて、多様な精度-遅延トレードオフを持つ複数の剪定済みConvNetアーキテクチャを生成する手法であり、事前にターゲットモデルの複雑さを指定する必要がなくなる。CIFAR-100、ResNet-56、およびImageNetやBird-200でも検証済みで、先行手法と比較して2倍〜3倍の高速化を達成しながら、性能を同等または上回る。

ABSTRACT

Pruning convolutional filters has demonstrated its effectiveness in compressing ConvNets. Prior art in filter pruning requires users to specify a target model complexity (e.g., model size or FLOP count) for the resulting architecture. However, determining a target model complexity can be difficult for optimizing various embodied AI applications such as autonomous robots, drones, and user-facing applications. First, both the accuracy and the speed of ConvNets can affect the performance of the application. Second, the performance of the application can be hard to assess without evaluating ConvNets during inference. As a consequence, finding a sweet-spot between the accuracy and speed via filter pruning, which needs to be done in a trial-and-error fashion, can be time-consuming. This work takes a first step toward making this process more efficient by altering the goal of model compression to producing a set of ConvNets with various accuracy and latency trade-offs instead of producing one ConvNet targeting some pre-defined latency constraint. To this end, we propose to learn a global ranking of the filters across different layers of the ConvNet, which is used to obtain a set of ConvNet architectures that have different accuracy/latency trade-offs by pruning the bottom-ranked filters. Our proposed algorithm, LeGR, is shown to be 2x to 3x faster than prior work while having comparable or better performance when targeting seven pruned ResNet-56 with different accuracy/FLOPs profiles on the CIFAR-100 dataset. Additionally, we have evaluated LeGR on ImageNet and Bird-200 with ResNet-50 and MobileNetV2 to demonstrate its effectiveness. Code available at this https URL.

研究の動機と目的

• フィルタ剪定におけるターゲットモデルの複雑さを手動で選択する課題に対処すること。これは時間のかかる作業であり、アプリケーションに特化している。
• 事前に定義された遅延制約が不要な状態で、複数の精度-遅延トレードオフを効率的に探索できること。
• 異なるモデルバリアントをガイドするため、層全体にわたるフィルタのグローバルランク付けを学習する手法を開発すること。
• ロボットやドローンなどの実世界のAIアプリケーションにおけるモデル圧縮の試行錯誤的性質を軽減すること。
• 多様なベンチマークでモデル性能を維持または向上させつつ、剪定の効率を向上させること。

提案手法

• LeGRは、微分可能ランク付け機構を用いて、ConvNetの全層にわたるフィルタのグローバルランク付けを学習する。
• 重要度に基づいてフィルタをランク付けし、最低ランクのフィルタを体系的に剪定することで、複数の剪定済みアーキテクチャを生成する。
• 精度とFLOP削減のバランスを取る損失関数を用いて、エンドツーエンドでランク付けを訓練する。
• 所望のFLOP予算に基づいて、しきい値以下のランクのフィルタを層ごとに削除することで剪定を実行する。
• 多様な精度と遅延プロファイルを持つPareto的集合のモデルを生成することが可能である。
• ResNet-50とMobileNetV2を用いて、CIFAR-100、ImageNet、Bird-200で評価される。

実験結果

リサーチクエスチョン

• RQ1 事前にターゲット複雑さを定義しない状態で、効率的で多目的なモデル圧縮を可能にするグローバルフィルタランク付け機構を学習可能か？
• RQ2 LeGRのグローバルランク付けは、層別またはヒューリスティック剪定と比較して、速度と性能でどのように異なるか？
• RQ3 LeGRは、複数のデータセットで良好な精度/FLOPsトレードオフを持つ多様な剪定済みモデルを生成可能か？
• RQ4 学習されたランク付けは、ResNet-50やMobileNetV2のような異なるアーキテクチャに一般化可能か？
• RQ5 LeGRの効率性と性能は、ImageNet や Bird-200 といった大規模ベンチマークでどのようにスケーリングするか？

主な発見

• LeGRは、ResNet-56を用いたCIFAR-100において、先行する最先端のフィルタ剪定手法と比較して2倍〜3倍の高速化を達成した。
• LeGRで生成された剪定モデルは、同等のFLOPレベルにおいて、先行手法と同等またはそれ以上の精度を維持または上回った。
• LeGRは、多様な精度と遅延トレードオフを持つ剪定済みモデルの集合を効果的に生成でき、実世界の応用における柔軟な展開を可能にした。
• この手法は、より大きなモデルやデータセットにも良好に一般化され、ResNet-50およびMobileNetV2を用いたImageNetおよびBird-200でも強力な性能を示した。
• 学習されたグローバルランク付けは、層全体にわたるフィルタの重要度を効果的に捉えており、アーキテクチャ全体にわたる一貫性があり、効率的な剪定を可能にした。
• モデル複雑さの繰り返しによる試行錯誤的チューニングの必要性が低減され、エムベデッドAIシステムにおけるモデル圧縮が簡素化された。