[論文レビュー] Structural Compression of Convolutional Neural Networks Based on Greedy Filter Pruning

Reza Abbasi-Asl, Bin Yu|arXiv (Cornell University)|May 20, 2017

Advanced Neural Network Applications参考文献 12被引用数 33

ひとこと要約

この論文は、分類精度低下（CAR）インデックスに基づいてフィルタを段階的に削除することで、畳み込みニューラルネットワーク（CNN）を圧縮するためのグリーディーなフィルタープルーニング手法を提案する。この手法は、再訓練を経て元の性能に近い水準を維持しながら42倍のサイズ削減を実現する一方で、先行研究と比較して高い精度を達成している。AlexNetの最初の層と2番目の層でフィルタの半分を削除した場合、それぞれ26%および20%高い精度を達成した。

ABSTRACT

Convolutional neural networks (CNNs) have state-of-the-art performance on many problems in machine vision. However, networks with superior performance often have millions of weights so that it is difficult or impossible to use CNNs on computationally limited devices or to humanly interpret them. A myriad of CNN compression approaches have been proposed and they involve pruning and compressing the weights and filters. In this article, we introduce a greedy structural compression scheme that prunes filters in a trained CNN. We define a filter importance index equal to the classification accuracy reduction (CAR) of the network after pruning that filter (similarly defined as RAR for regression). We then iteratively prune filters based on the CAR index. This algorithm achieves substantially higher classification accuracy in AlexNet compared to other structural compression schemes that prune filters. Pruning half of the filters in the first or second layer of AlexNet, our CAR algorithm achieves 26% and 20% higher classification accuracies respectively, compared to the best benchmark filter pruning scheme. Our CAR algorithm, combined with further weight pruning and compressing, reduces the size of first or second convolutional layer in AlexNet by a factor of 42, while achieving close to original classification accuracy through retraining (or fine-tuning) network. Finally, we demonstrate the interpretability of CAR-compressed CNNs by showing that our algorithm prunes filters with visually redundant functionalities. In fact, out of top 20 CAR-pruned filters in AlexNet, 17 of them in the first layer and 14 of them in the second layer are color-selective filters as opposed to shape-selective filters. To our knowledge, this is the first reported result on the connection between compression and interpretability of CNNs.

研究の動機と目的

• 計算リソースが限られたデバイスへの大規模で高性能なCNNの導入の課題に対処すること。
• 従来の構造的プルーニング手法を上回る分類精度を維持しながら、モデル圧縮を改善すること。
• 圧縮されたCNNにおけるフィルタの機能的役割を分析することで、その解釈可能性を検討すること。
• 実証的分析を通じて、モデル圧縮とフィルタの解釈可能性との間に相関関係があるかを明らかにすること。

提案手法

• 本手法は、特定のフィルタをプルーニングした際の分類精度低下（CAR）を、フィルタの重要度インデックスとして定義する。
• CARが最小となるフィルタから段階的にグリーディーにプルーニングを実行する。
• プルーニング後、精度回復のためネットワークを再訓練（ファインチューニング）する。
• 構造的プルーニングに加え、その後に重みのプルーニングと圧縮を適用することで、さらにサイズを削減する。
• CARインデックスを用いてフィルタを順位付けし、精度に与える影響が最小のフィルタを優先して削除する。
• 本手法はAlexNetに適用され、最初の層および2番目の畳み込み層におけるアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 CARに基づくグリーディーなフィルタープルーニング戦略は、従来の構造的圧縮手法を上回る分類精度を達成できるか？
• RQ2 フィルタープルーニングは、高い精度を維持しつつ、どの程度モデルサイズを削減できるか？
• RQ3 圧縮されたCNNにおけるプルーニングされたフィルタは、冗長的または解釈可能な機能を示すか？
• RQ4 構造的圧縮と向上したモデルの解釈性との間に測定可能な相関関係があるか？

主な発見

• AlexNetの最初の層でフィルタの半分をCAR手法でプルーニングした場合、最良のベンチマーク手法と比較して26%高い分類精度を達成した。
• 2番目の層でフィルタの半分をプルーニングした場合、最良のベンチマーク手法と比較して20%高い精度を達成した。
• CARを用いた圧縮ネットワークにより、最初または2番目の畳み込み層のサイズを42倍に削減し、再訓練後に元の性能に近い分類精度を維持した。
• 最初の層で上位20個のCARでプルーニングされたフィルタのうち17個が色選択性を示しており、冗長なフィルタの削除が確認された。
• 2番目の層では、上位20個のCARでプルーニングされたフィルタのうち14個が色選択性を示しており、さらに機能的に冗長なフィルタの削除が裏付けられた。
• 本研究では、視覚的に冗長な機能を示すプルーニングされたフィルタを同定することで、構造的圧縮とCNNの解釈性向上との間の測定可能な関連性を初めて報告した。