[論文レビュー] PCAS: Pruning Channels with Attention Statistics.

Kohei Yamamoto, Kurato Maeno|arXiv (Cornell University)|Jun 14, 2018

Advanced Neural Network Applications被引用数 9

ひとこと要約

本稿では、1つのグローバル圧縮率を用いて、チャネルの重要度を自動的に評価・選択するチャネルプルーニング手法PCASを提案する。CIFAR-10におけるResNet-50では、パラメータを90.8%削減し、FLOPsを79.4%削減するが、精度はたった1%の低下に抑えられ、エッジデバイス向けの効率的なモデル圧縮を実現する。

ABSTRACT

To implement deep neural networks on small embedded devices, conventional techniques use channel pruning looking considering manual compression rate per layer to reduce parameters. Besides it is difficult to consider the relationships between layers and it takes a lot of time for deeper models. For addressing these issues, we propose a new channel pruning technique based on attention that can evaluate the importance of channels. We improved the method with the criterion to allow the automatic channel selection using a single compression rate for the entire model. Experimental results showed that a parameter reduction of 90.8% and FLOPs reduction of 79.4% was achieved with an accuracy degradation of around 1% for the compressed ResNet-50 model on the CIFAR-10 benchmark.

研究の動機と目的

• 組み込みデバイス向けの効率的なモデルデプロイメントにおいて、手動による層別圧縮率選択の限界を解消すること。
• 1つのグローバル圧縮率を用いて、全層にわたる一貫性のあるチャネル選択を可能にすること。
• 注意統計を活用してチャネルの重要度を評価することで、より深いモデルにおけるプルーニング効率の向上と計算コストの低減を図ること。
• リソース制約のあるエッジ推論において、高いモデル圧縮率と最小限の精度低下を両立すること。

提案手法

• 本手法は、ネットワーク全体の個々のチャネルの重要度を評価するための注目ベースの基準を導入する。
• チャネルごとの注目統計を計算し、特徴マップの寄与度を定量化することで、プルーニング意思決定を支援する。
• 1つのグローバル圧縮率を全層に均一に適用することで、層別レートチューニングの必要性を排除する。
• 既存のトレーニングパイプラインにスムーズに統合可能であり、プルーニング後のエンドツーエンドのファインチューニングが可能である。
• 注目ベースの指標は、特徴マップの活性化から導出され、重要度の順位付けと不要なチャネルの削除に用いられる。

実験結果

リサーチクエスチョン

• RQ1 注意統計は、深層ニューラルネットワークにおけるチャネルの重要度を効果的に評価できるか？
• RQ2 全層にわたって1つのグローバル圧縮率を適用することで、効率的で正確なプルーニングが達成できるか？
• RQ3 提案手法は、ベンチマークデータセット上で高い精度を維持しつつ、モデルパラメータとFLOPsを顕著に削減できるか？
• RQ4 従来のチャネルプルーニング手法と比較して、本手法は圧縮効率と精度保持性において優れているか？

主な発見

• PCASは、CIFAR-10におけるResNet-50で、パラメータを90.8%削減し、精度はたった1%の低下に抑えられた。
• 本手法は、CIFAR-10ベンチマークで競争的な性能を維持しながら、FLOPsを79.4%削減した。
• 1つのグローバル圧縮率の使用により、プルーニングプロセスが簡素化され、チューニングのオーバーヘッドが低減された。
• 注目ベースの指標は、冗長なチャネルを効果的に同定でき、最小限の精度低下で高い圧縮を実現した。