[論文レビュー] Demystifying Neural Network Filter Pruning

Zhuwei Qin, Fuxun Yu+2 more|arXiv (Cornell University)|Oct 29, 2018

Advanced Neural Network Applications参考文献 7被引用数 6

ひとこと要約

本稿では、ℓ₁ノルムのような大きさ順ランク付けに依存するのではなく、特徴抽出パターンに基づいて冗長なフィルタを同定・削除する機能指向のフィルタ pruning 法を提案する。活性化最大化を用いてフィルタの機能性を可視化し、類似するフィルタをクラスタリングすることで、最小限の微調整で高いモデル精度を達成する。微調整が主に不要であることが示された。

ABSTRACT

Based on filter magnitude ranking (e.g. L1 norm), conventional filter pruning methods for Convolutional Neural Networks (CNNs) have been proved with great effectiveness in computation load reduction. Although effective, these methods are rarely analyzed in a perspective of filter functionality. In this work, we explore the filter pruning and the retraining through qualitative filter functionality interpretation. We find that the filter magnitude based method fails to eliminate the filters with repetitive functionality. And the retraining phase is actually used to reconstruct the remained filters for functionality compensation for the wrongly-pruned critical filters. With a proposed functionality-oriented pruning method, we further testify that, by precisely addressing the filter functionality redundancy, a CNN can be pruned without considerable accuracy drop, and the retraining phase is unnecessary.

研究の動機と目的

• 大きさに基づくフィルタ pruning（例：ℓ₁ノルム）が、高い pruning 効率にもかかわらず精度低下を引き起こす理由を調査すること。
• フィルタの機能性の観点から、従来の pruning パipelineにおける微調整フェーズの役割を分析すること。
• 大きさではなく機能的冗長性を標的とする pruning 法を開発し、精度の低下を最小限に抑えること。
• フィルタの機能的特徴性に基づいて pruning が行われる場合、微調整が本質的に不要であることを実証すること。

提案手法

• 各フィルタが最大に活性化される入力画像を生成することで、活性化最大化（AM）を用いてフィルタの機能性を可視化する。
• 類似した可視化パターンを持つフィルタをクラスタリングすることで、クラスタレベルでの機能的冗長性を同定する。
• 勾配ベースのサリエンシー（1/N ∑‖∂Z/∂Aᵢ(xₙ)‖）を用いて寄与度インデックス γᵢ を計算し、各クラスタ内でのフィルタ順序を付与する。
• 寄与度インデックスが低いフィルタから順に pruning し、クラスタサイズに比例した pruning 確率を適用（より冗長なクラスタはより多く削除される）。
• ネットワーク全体にわたって層ごとにこの手法を適用し、全体的な機能的冗長性を低減する。
• 精度回復曲線と微調整中のフィルタ機能性安定性の可視化分析を通じて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ大きさに基づくフィルタ pruning（例：ℓ₁ノルム）は、計算削減効果が高いにもかかわらず精度低下を引き起こすのか？
• RQ2 従来のフィルタ pruning における微調整フェーズの真の役割は何か—機能回復か、ネットワーク再構築か？
• RQ3 フィルタの機能的冗長性を正確に同定し、精度損失なしに pruning 効率を向上させることは可能か？
• RQ4 フィルタの機能的特徴性に基づいて pruning が行われる場合、どの程度まで微調整を排除できるか？

主な発見

• 大きさに基づく pruning（例：ℓ₁ノルム）は、同じ特徴を抽出するフィルタをそのまま残すため、機能的に冗長なフィルタを効果的に削除できない。
• 従来の pruning における微調整は、主に残存フィルタの機能性を再構築することに寄与しており、pruning によって元のネットワーク構成が破壊されていることが示唆される。
• 微調整中に、特に大きさは小さいが機能的に重要なフィルタの機能性が顕著に変化することがある。
• 提案手法の機能指向 pruning では、微調整中にフィルタの機能性が安定しており、可視化されたパターン（例：ネコ、デール）がイテレーション全体で一貫性を保つ。
• 提案手法を用いた pruning モデルは、ℓ₁ノルム pruning よりも顕著に精度低下が遅く、特に高い pruning 比において顕著である。
• 精度回復が速く、微調整に依存しないため、主な精度変化は微調整によるものであり、大規模な機能再構築は不要である。