[論文レビュー] Pruning Deep Neural Networks using Partial Least Squares

Artur Jordão, Kloss, Ricardo+2 more|arXiv (Cornell University)|Oct 17, 2018

Advanced Neural Network Applications参考文献 29被引用数 7

ひとこと要約

この論文は、部分最小二乗法（PLS）と射影内重要度（VIP）を用いて、分類ラベルとの判別的関係に基づき、重要でない畳み込みフィルタを同定・削除する、深層畳み込みニューラルネットワーク向けの新規フィルタ pruning 法を提案する。本手法は、精度の低下なしに最大67%のFLOPs削減を達成し、わずかな精度損失を伴う場合でも最大90%のFLOPs削減が可能であり、有効な特徴選択と最小限の性能劣化を組み合わせることで、最先端の手法を上回る性能を発揮する。

ABSTRACT

Modern pattern recognition methods are based on convolutional networks since they are able to learn complex patterns that benefit the classification. However, convolutional networks are computationally expensive and require a considerable amount of memory, which limits their deployment on low-power and resource-constrained systems. To handle these problems, recent approaches have proposed pruning strategies that find and remove unimportant neurons (i.e., filters) in these networks. Despite achieving remarkable results, existing pruning approaches are ineffective since the accuracy of the original network is degraded. In this work, we propose a novel approach to efficiently remove filters from convolutional networks. Our approach estimates the filter importance based on its relationship with the class label on a low-dimensional space. This relationship is computed using Partial Least Squares (PLS) and Variable Importance in Projection (VIP). Our method is able to reduce up to 67% of the floating point operations (FLOPs) without penalizing the network accuracy. With a negligible drop in accuracy, we can reduce up to 90% of FLOPs. Additionally, sometimes the method is even able to improve the accuracy compared to original, unpruned, network. We show that employing PLS+VIP as the criterion for detecting the filters to be removed is better than recent feature selection techniques, which have been employed by state-of-the-art pruning methods. Finally, we show that the proposed method achieves the highest FLOPs reduction and the smallest drop in accuracy when compared to state-of-the-art pruning approaches. Codes are available at: https://github.com/arturjordao/PruningNeuralNetworks

研究の動機と目的

• リソース制約のある環境における深層畳み込みネットワークの高い計算コストとメモリ使用量を低減すること。
• 既存の pruning 手法がネットワークの精度を低下させる、または高い計算コストを要するという限界を克服すること。
• 分類ラベルとの予測的関係に基づき、重要でないフィルタを自動的に特定する効率的な pruning 基準を開発すること。
• ネットワーク精度を維持あるいは向上させつつ、優れたFLOPs削減を達成すること。

提案手法

• 訓練データをネットワークを通過させることで、各畳み込みフィルタ出力を特徴ベクトルとして表現する。
• ネットワーク全体のすべてのフィルタ出力から高次元の特徴空間を構築する。
• 部分最小二乗法（PLS）を用いて、特徴とクラスラベルの共分散を最大化するように、高次元空間を低次元の潜在空間に射影する。
• 射影内重要度（VIP）を用いて、各フィルタが潜在空間に与える寄与度を定量化し、重要でないフィルタを同定する。
• VIPスコアが低いフィルタを繰り返し削除し、望ましいFLOPs削減が達成されるまで繰り返す。
• pruning後に再訓練を行い、性能を微調整する。

実験結果

リサーチクエスチョン

• RQ1 分類的特徴選択手法としてのPLSは、深層ネットワークにおける重要でないフィルタを効果的に同定できるか？
• RQ2 VIPをフィルタ重要度の基準として用いることで、L1ノルムや学習済みpruningエージェントと比較して、より優れたpruning性能が得られるか？
• RQ3 PLS+VIPに基づくpruningは、最先端の手法と比較して、より高いFLOPs削減と低い精度劣化を達成できるか？
• RQ4 提案手法は、元の未pruningネットワークと比較して、精度を向上または維持できるか？

主な発見

• 提案手法は、ImageNetおよびCIFAR-10で精度の低下なしに最大67%のFLOPs削減を達成した。
• わずかな精度低下（1%未満）を伴うが、VGG16およびResNetアーキテクチャにおいて、両方で最大90%のFLOPs削減が可能となった。
• ResNet56およびResNet110では、Huangら[5]と比較して1.5倍のFLOPs削減が可能であり、精度低下も小さい。
• VGG16では、比較対象の全手法と比較して1.8倍のFLOPs削減が可能であり、精度低下が最小であった。
• 既存手法が低FLOPs層に焦点を当てているのに対し、本手法は高FLOPs層（例：層2〜10）で50%以上のフィルタを削除した。
• 一部のケースでは、pruning後のネットワークが元の未pruningモデルよりも精度が向上した。