[論文レビュー] Functionality-Oriented Convolutional Filter Pruning

Zhuwei Qin, Fuxun Yu+2 more|arXiv (Cornell University)|Oct 12, 2018

Advanced Neural Network Applications参考文献 29被引用数 10

ひとこと要約

本稿では、重みの大きさに依存せず、学習済みの特徴選好に基づいて冗長なフィルタを同定・削除する機能指向型畳み込みフィルタのプルーニング手法を提案する。活性化最大化を用いて可視化された機能的特徴に基づき、類似した機能を持つフィルタをクラスタリングし、各クラスタ内で最も寄与度が低いフィルタを削除することで、68.88%のFLOPs削減が達成され、精度低下は0.34%未塔、再訓練への依存も最小限に抑えられ、従来の重みランク付け手法を上回る性能を発揮する。

ABSTRACT

The sophisticated structure of Convolutional Neural Network (CNN) allows for outstanding performance, but at the cost of intensive computation. As significant redundancies inevitably present in such a structure, many works have been proposed to prune the convolutional filters for computation cost reduction. Although extremely effective, most works are based only on quantitative characteristics of the convolutional filters, and highly overlook the qualitative interpretation of individual filter's specific functionality. In this work, we interpreted the functionality and redundancy of the convolutional filters from different perspectives, and proposed a functionality-oriented filter pruning method. With extensive experiment results, we proved the convolutional filters' qualitative significance regardless of magnitude, demonstrated significant neural network redundancy due to repetitive filter functions, and analyzed the filter functionality defection under inappropriate retraining process. Such an interpretable pruning approach not only offers outstanding computation cost optimization over previous filter pruning methods, but also interprets filter pruning process.

研究の動機と目的

• 重みの大きさに基づくフィルタプルーニングの限界、すなわち機能的解釈可能性の欠如と高い再訓練コストを是正すること。
• フィルタの冗長性が、単に重みの大きさの低さによるものではなく、機能的重複に起因するのかを調査すること。
• 機能的に冗長なフィルタを同定・削除することで、モデルの機能的整合性を保持するプルーニング手法を開発すること。
• 重みの大きさではなく機能的寄与度に基づいてプルーニングすることで、再訓練への依存度を低減すること。

提案手法

• 各畳み込みフィルタが最大に活性化される入力パターンを活性化最大化により生成し、その機能的選好を明らかにする。
• これらのパターンを可視化することで、類似した特徴選好を持つフィルタのクラスタを同定し、機能的冗長性を特定する。
• 各層ごとにフィルタを機能クラスタにグループ化し、各クラスタ内で最も寄与度が低いフィルタを削除対象とする。
• 絶対的な重みの大きさではなく、クラスタ内での機能的寄与度に基づいてプルーニングを実施する。
• モデルの機能的整合性が保持されるため、プルーニング後の最小限のファインチューニングで十分である。
• 再訓練中のフィルタ機能の変化を定性的に分析することで、プルーニングの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける冗長フィルタは、主に重みの大きさが小さいことではなく、機能的重複に起因しているのか？
• RQ2 プルーニングの前にフィルタの機能を解釈することで、より効果的かつ正確なプルーニングが可能になるか？
• RQ3 重みの大きさに基づくプルーニングは、再訓練中に元のモデルの機能的整合性を損なうのか？
• RQ4 重みの大きさではなく機能的類似性に基づいてプルーニングを行うことで、再訓練の負荷をどの程度軽減できるか？
• RQ5 多様なデータセットおよびアーキテクチャにおいて、機能ベースのプルーニングは従来手法に比べ、FLOPs削減と精度保持の両面で優れているか？

主な発見

• CIFAR-10では、ResNet-56で43%、VGG-16で44.1%のFLOPs削減を達成し、それぞれ0.05%および0.72%の相対的な精度向上を実現した。
• CIFAR-100では、VGG-16でFLOPsを37.2%削減し、精度に損失が生じなかった。また、ImageNet-100では1%の精度向上を達成した。
• ImageNet-10では、VGG-16で50.64%のFLOPs削減と1%の精度向上を達成し、ResNet-32では23.8%のFLOPs削減と精度に損失なしを達成した。
• 提案手法は顕著に再訓練の負荷を低減し、100イテレーション未満で元の精度にほぼ回復した。これに対してℓ₁ノルムプルーニングは約3%の差を示し、回復しなかった。
• フィルタ機能の可視化結果から、ℓ₁ノルムプルーニングでは再訓練中に顕著な機能的変化が生じた一方、本手法ではフィルタ機能が保持された。
• 本研究は、効果的かつ効率的なフィルタプルーニングの基盤として、単なる重みの大きさではなく、機能的冗長性であるべきであることを示している。