[論文レビュー] PCAS: Pruning Channels with Attention Statistics for Deep Network Compression

Kohei Yamamoto, Kurato Maeno|arXiv (Cornell University)|Jun 14, 2018

Advanced Neural Network Applications参考文献 31被引用数 34

ひとこと要約

この論文では、注意統計を用いて冗長なチャネルを自動的に特定・削除するチャネルプルーニング手法PCASを提案する。事前学習済みモデル上で軽量な注意モジュールを訓練することで、各層の圧縮比を手動で調整することなくチャネルの重要度を評価する。VGG、ResNet、MobileNet、SegNetの各モデルにおいてCIFAR、ImageNet、CamVidのデータセットで、最大60%のチャネル削減と1.5%未満のトップ-1精度低下を達成し、優れた精度と効率性を実現した。

ABSTRACT

Compression techniques for deep neural networks are important for implementing them on small embedded devices. In particular, channel-pruning is a useful technique for realizing compact networks. However, many conventional methods require manual setting of compression ratios in each layer. It is difficult to analyze the relationships between all layers, especially for deeper models. To address these issues, we propose a simple channel-pruning technique based on attention statistics that enables to evaluate the importance of channels. We improved the method by means of a criterion for automatic channel selection, using a single compression ratio for the entire model in place of per-layer model analysis. The proposed approach achieved superior performance over conventional methods with respect to accuracy and the computational costs for various models and datasets. We provide analysis results for behavior of the proposed criterion on different datasets to demonstrate its favorable properties for channel pruning.

研究の動機と目的

• 深層モデルの各層におけるチャネルプルーニングにおいて、手動による圧縮比のチューニングという課題に対処すること。
• 各層のハイパーパramータ調整を必要としない、モデルに依存しない自動化されたチャネルプルーニング手法の開発。
• 注意統計を活用してチャネルの重要度を評価することで、プルーニングの効率性と精度を向上させること。
• リソース制約のある組み込みデバイスへの展開に適した、深層ネットワークの効果的圧縮を可能にすること。

提案手法

• 事前学習済みネットワークの各ターゲット畳み込み層または全結合層の前に注意モジュールを接続し、チャネルの重要度を推定する。
• バックプロパゲーションを用いて、事前学習済みモデルと注意モジュールの出力を通して、ワンショットの方法でこれらの注意モジュールを訓練する。
• 注意モジュールの出力を用いて注意統計を計算し、バッチ全体における各チャネルの相対的重要度を表現する。
• 層ごとのチューニングを不要にするために、一括のグローバル圧縮比を用いて、注意統計に基づいてチャネルをプルーニングする。
• 精度回復のため、プルーニング後に同じ訓練プロトコルをすべてのモデルとデータセットで使用してファインチューニングを実施する。
• 累積注意統計に基づくしきい値処理機構を用いて、最も重要度の低いチャネルを特定・削除する。

実験結果

リサーチクエスチョン

• RQ1 各層の圧縮比を手動でチューニングせず、注意統計が深層ニューラルネットワーク内の冗長チャネルを効果的に特定できるか？
• RQ2 提案手法の注意ベースの基準は、従来のプルーニング基準と比較して、精度と計算コストの両面で優れているか？
• RQ3 注意ベースの重要度推定を用いる場合、一括のグローバル圧縮比が、すべての層で効果的に機能するか、その範囲はどの程度か？
• RQ4 VGG、ResNet、MobileNetなどの異なるアーキテクチャおよびCIFAR、ImageNet、CamVidなどの異なるデータセットに、この手法はどの程度一般化可能か？
• RQ5 注意統計は、学習済みモデルにおけるチャネルの冗長性とクラス固有の応答について、どのようなインサイトを提供するか？

主な発見

• PCASは、ImageNetでVGG-16とResNet-50に対して最大60%のチャネル削減を達成し、トップ-1精度はわずか1.5%低下にとどめた。
• 複数のモデルとデータセットにおいて、従来のプルーニング手法と比較して、精度と計算コストの両面で優れた性能を示した。
• 注意統計により、すべてのクラスに対して弱い応答を示すチャネルが優先的にプルーニングされることが判明し、効果的な冗長性検出が可能であることが示された。
• 高い圧縮比でも高い性能を維持でき、VGG-16とResNet-50はそれぞれ圧縮比0.50および0.45まで精度を保持した。
• 分析の結果、特にVGGのような深層層では、注意統計の分布が著しく非対称であり、より多くの冗長チャネルが存在することが示された。
• 注意メカニズムはクラス固有の応答パターンを効果的に捉えており、特定のクラスに対して弱い応答を示すチャネルがプルーニングの対象として特定された。