[論文レビュー] Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

Yang He, Ping Liu+3 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Neural Network Applications参考文献 47被引用数 22

ひとこと要約

本稿では、ノルムに基づく重要度基準に依存せず、フィルターフィーチャーマップの幾何学的中央値を活用して冗長な情報を有するフィルターを特定・削除する、新しいフィルターPruning手法であるFPGM（Filter Pruning via Geometric Median）を提案する。FPGMは最先端の性能を達成し、CIFAR-10でResNet-110に対して52%以上のFLOPs削減を達成するとともに、相対的な精度向上2.69%を実現した。また、ImageNetでResNet-101に対して42%以上のFLOPs削減を実現し、トップ5精度に変化がない。

ABSTRACT

Previous works utilized ''smaller-norm-less-important'' criterion to prune filters with smaller norm values in a convolutional neural network. In this paper, we analyze this norm-based criterion and point out that its effectiveness depends on two requirements that are not always met: (1) the norm deviation of the filters should be large; (2) the minimum norm of the filters should be small. To solve this problem, we propose a novel filter pruning method, namely Filter Pruning via Geometric Median (FPGM), to compress the model regardless of those two requirements. Unlike previous methods, FPGM compresses CNN models by pruning filters with redundancy, rather than those with ''relatively less'' importance. When applied to two image classification benchmarks, our method validates its usefulness and strengths. Notably, on CIFAR-10, FPGM reduces more than 52% FLOPs on ResNet-110 with even 2.69% relative accuracy improvement. Moreover, on ILSVRC-2012, FPGM reduces more than 42% FLOPs on ResNet-101 without top-5 accuracy drop, which has advanced the state-of-the-art. Code is publicly available on GitHub: https://github.com/he-y/filter-pruning-geometric-median

研究の動機と目的

• ノルムに基づくフィルターPruning基準の根本的限界を特定すること。この基準は、大きなノルム分散と小さな最小ノルムという2つの厳密な要件に依存している。
• 相対的重要度ではなく、フィルターの冗長性に注目することで、これらの制限的な仮定に依存しない新しいフィルターPruning手法を提案すること。
• 標準ベンチマークで精度を保持または向上させつつ、優れたモデル圧縮と推論速度向上を達成すること。
• CIFAR-10やILSVRC-2012を含む多様なアーキテクチャとデータセットにおいて、幾何的中央値に基づくPruningの有効性を示すこと。

提案手法

• FPGMは、各畳み込み層内のフィルターの幾何的中央値を計算することで、互いの関係に基づいて最も置き換え可能なフィルターを特定する。
• 幾何的中央値に最も近いフィルターは冗長とみなされ、性能の著しい低下を伴わずに残りのフィルターで表現可能であるため、Pruningの対象となる。
• 各フィルターへの距離の合計を最小化するように、幾何的中央値を近似する反復的リウェートィングアルゴリズムを用いる。
• フィルター類似度の測定には、具体的にはℓ₁-ノルムまたはコサイン距離を用いる。
• Pruningプロセスは、スケジュールされたインターバルで訓練中に適用され、エンドツーエンド最適化を可能にする。
• Pruning後、さらに精度を向上させるために微調整（fine-tuning）と組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 ノルム分散が小さい場合、または最小ノルムが無視できない場合、ノルムに基づくフィルターPruning基準は失敗するのか？
• RQ2 ノルム基準の仮定が満たされない状況下でも、幾何的中央値に基づくアプローチがノルム基準を上回る性能を発揮できるか？
• RQ3 相対的重要度ではなく冗長性に基づいてフィルターをPruningすることで、より優れたモデル圧縮と精度保持が達成できるか？
• RQ4 ノルム基準が失敗する状況において、FPGMは多様なネットワークアーキテクチャとデータセットでどのように性能を発揮するか？
• RQ5 FPGMは他の圧縮技術と効果的に組み合わせられ、さらにモデル効率を向上させられるか？

主な発見

• CIFAR-10では、FPGMがResNet-110に対して52%以上のFLOPs削減を実現するとともに、ベースライン比で相対精度向上2.69%を達成した。
• ILSVRC-2012では、ResNet-101に対して42%以上のFLOPs削減を実現し、トップ5精度に変化がなく、トップ1精度もわずか0.05%の低下にとどまった。
• FPGMは、類似したFLOP削減を達成しながら、ResNet-101において[15]の最先端手法をトップ5精度で1.28%上回った。
• ResNet-50では、FPGMに微調整を適用した結果、[16]よりも高い推論速度向上を達成し、精度も0.85%高い水準に到達した。
• アブレーションスタディの結果、FPGMはPruningインターバルに対して頑健であり、FLOP削減率18%および40%において、未圧縮ベースラインを上回る性能を発揮した。
• 特徴マップの可視化により、竹やパンダの輪郭といった構造的特徴を、例えばフィルター7, 23, 27が他のフィルター（例：5, 12, 16, 0, 4, 33）によって効果的に置き換えられることを確認した。