[論文レビュー] 2PFPCE: Two-Phase Filter Pruning Based on Conditional Entropy

Chuhan Min, Aosen Wang+3 more|arXiv (Cornell University)|Sep 6, 2018

Advanced Neural Network Applications参考文献 27被引用数 47

ひとこと要約

二段階のフィルタプルーニングフレームワークを提案。グローバル段階の後、レイヤー単位の段階で条件付きエントロピーを用いてフィルタを選択し、VGG-16とCIFAR-10で小さな精度低下とともにFLOPsを大幅に削減し、従来の基準より圧縮性能を向上させる。

ABSTRACT

Deep Convolutional Neural Networks~(CNNs) offer remarkable performance of classifications and regressions in many high-dimensional problems and have been widely utilized in real-word cognitive applications. However, high computational cost of CNNs greatly hinder their deployment in resource-constrained applications, real-time systems and edge computing platforms. To overcome this challenge, we propose a novel filter-pruning framework, two-phase filter pruning based on conditional entropy, namely extit{2PFPCE}, to compress the CNN models and reduce the inference time with marginal performance degradation. In our proposed method, we formulate filter pruning process as an optimization problem and propose a novel filter selection criteria measured by conditional entropy. Based on the assumption that the representation of neurons shall be evenly distributed, we also develop a maximum-entropy filter freeze technique that can reduce over fitting. Two filter pruning strategies -- global and layer-wise strategies, are compared. Our experiment result shows that combining these two strategies can achieve a higher neural network compression ratio than applying only one of them under the same accuracy drop threshold. Two-phase pruning, that is, combining both global and layer-wise strategies, achieves 10 X FLOPs reduction and 46% inference time reduction on VGG-16, with 2% accuracy drop.

研究の動機と目的

• 資源制約下の展開で精度を維持しつつ、CNN推論コストの削減を動機づける。
• 条件付きエントロピーに基づくフィルタプルーニング基準を導入し、各フィルタの精度への寄与を定量化する。
• グローバルとレイヤー-wise戦略を組み合わせた二段階プルーニングフレームワークを開発し、より高い圧縮を実現する。
• 過学習を抑制するための最大エントロピー・フィルター凍結技術を提案する。
• CIFAR-10を用いたVGG-16などのCNNで有効性を示し、FLOPs、データ量、実推論時間を測定する。

提案手法

• 畳み込み層内のフィルタの条件付きエントロピーをプルーニングの基準として定義する。
• Phase I: 条件付きエントロピーが最小のフィルタを除去してグローバルプルーニングを行い、その後、精度低下閾値を用いた反復的ファインチューニングを行う。
• Phase II: 条件付きエントロピーを用いたレイヤー単位の貪欲プルーニングを実施し、ファインチューニングは精度損失閾値で制約する。
• 最大エントロピー凍結機構を強制し、最大エントロピーを持つニューロンに対応する重みを逆伝播中に固定して過学習を抑制する。
• プルーニング後の情報保持のため、最大条件付きエントロピーのフィルタの活性化に基づいてバイアス項を更新する。
• グローバル戦略とレイヤー-wise戦略を比較し、同一の精度制約の下で二段階の組み合わせがより高い圧縮をもたらすことを示す。
• lossに基づいて条件付けされたレイヤー毎のエントロピーを集約してcon_entを計算し、上位剪定フィルタを選択するアルゴリズム的な詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 条件付きエントロピーは、削除がモデルの精度に最小限の影響を与えるフィルタを同定する効果的な基準となり得るか。
• RQ2 固定された精度低下閾値の下で、グローバルとレイヤー-wiseの戦略を組み合わせると、いずれか一方のみを用いる場合より高い圧縮が得られるか。
• RQ3 最大エントロピーベースの重み凍結が、プルーニングとファインチューニング中の過学習と最終的な精度に与える影響は何か。
• RQ4 2PFPCEのプルーニング決定は、標準的なCNNで実際のFLOPs、モデルサイズ、および実世界の推論時間へどのように反映されるか。
• RQ5 提案されたプルーニング手法は、アーキテクチャ（例：VGG-16、ResNet-18）およびデータセット（例：CIFAR-10）に跨って頑健か。

主な発見

• 2PFPCEは、ある設定下でVGG-16とCIFAR-10で約2%程度の精度喪失で大幅なプルーニングを達成する。
• グローバルプルーニングに続くレイヤー単位プルーニング（二段階）は、いずれか一方のみより高い圧縮をもたらす。
• Phase Iのプルーニングと最大エントロピーベースの凍結は、ファインチューニング時の過学習を抑制するのに役立つ。
• Phase IIのレイヤー単位の条件付きエントロピーを用いたプルーニングは、指定された閾値内の精度を維持しつつフィルタをさらに削減する。
• 実験的結果は、データ量と実推論時間の大幅な削減を示し、FLOPsの顕著な削減（例：報告されたケースでVGG-16のFLOPs約10倍削減、推論時間約46%削減）を伴う。
• 条件付きエントロピー基準は、L1ノルム、APoZ、活性化エントロピー基準を上回る。