[論文レビュー] INTERPRETABLE CONVOLUTIONAL FILTER PRUNING

Zhuwei Qin, Fuxun Yu+3 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Neural Network Applications参考文献 27被引用数 5

ひとこと要約

本論文は、マグニチュードを越えてフィルタの役割を解釈する機能指向のフィルタプルーニング手法を提案し、フィルタ機能の定性的な分析を通じて再冗長性を明らかにする。繰り返し発生するか、機能に欠陥のあるフィルタを特定・削除することで、計算効率を向上させつつ、解釈可能なプルーニング意思決定を実現する。

ABSTRACT

The sophisticated structure of Convolutional Neural Network (CNN) allows for outstanding performance, but at the cost of intensive computation. As significant redundancies inevitably present in such a structure, many works have been proposed to prune the convolutional filters for computation cost reduction. Although extremely effective, most works are based only on quantitative characteristics of the convolutional filters, and highly overlook the qualitative interpretation of individual filter's specific functionality. In this work, we interpreted the functionality and redundancy of the convolutional filters from different perspectives, and proposed a functionality-oriented filter pruning method. With extensive experiment results, we proved the convolutional filters' qualitative significance regardless of magnitude, demonstrated significant neural network redundancy due to repetitive filter functions, and analyzed the filter functionality defection under inappropriate retraining process. Such an interpretable pruning approach not only offers outstanding computation cost optimization over previous filter pruning methods, but also interprets filter pruning process.

研究の動機と目的

• マグニチュードなどの定量的指標に依存する既存のフィルタプルーニング手法に、解釈可能性の欠如があることに対処すること。
• 畳み込みフィルタがマグニチュードに基づく冗長性を超えて、機能的冗長性を示すかどうかを調査すること。
• 不適切な再訓練がフィルタ機能に与える影響と、性能劣化を引き起こすメカニズムを分析すること。
• 削除の前段階でフィルタの役割を解釈するプルーニングフレームワークを開発し、効率性とモデルの透明性を向上させること。
• 定性的なフィルタ機能分析が、マグニチュードのみに依存する手法よりも優れたプルーニング意思決定をもたらすことを実証すること。

提案手法

• 本手法は、活性化パターンと特徴応答特性の分析を通じて、畳み込みフィルタの機能に基づいた解釈を導入する。
• 活性化に基づく指標を用いて、フィルタ間の機能的類似度を測定することで、フィルタの冗長性を定量化する。
• マグニチュードにかかわらず、繰り返し発生するか、低有用な機能を持つフィルタの削除を優先する、新たなプルーニング基準を提案する。
• プルーニング前後におけるフィルタ行動の可視化と分析を通じて、プルーニングパイプラインに解釈可能性を統合する。
• 機能的多様性を保持する再訓練戦略を採用し、ファインチューニング中に機能欠損が発生するのを回避する。
• 複数のCNNアーキテクチャとデータセットを用いてフレームワークを評価し、堅牢性と一般化性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みフィルタは、マグニチュードに基づく冗長性を超えて、どの程度機能的冗長性を示すのか？
• RQ2 不適切な再訓練は、プルーニング中にフィルタの機能的整合性にどのように影響を与えるのか？
• RQ3 フィルタ機能は信頼性を持って解釈可能であり、プルーニング基準として利用可能なのか？
• RQ4 機能ベースのプルーニングは、マグニチュードベースのプルーニングと比べて、精度と効率性の面でどのように異なるのか？
• RQ5 機能的多様性は、プルーニング後のモデル性能にどのような影響を与えるのか？

主な発見

• 本研究では、マグニチュードが異なるフィルタでも、繰り返し発生する機能的パターンが原因で顕著なフィルタ冗長性が存在することを示した。
• 類似した機能を持つフィルタはしばしば冗長であり、それらを削除してもモデル精度に顕著な影響を及ぼさない。
• 不適切な再訓練は機能欠損を引き起こし、フィルタが元の役割を失うことで性能劣化を引き起こす。
• 提案手法は、マグニチュードベースのプルーニングよりも優れた計算コスト削減を達成し、精度を維持または向上させた。
• 解釈可能なプルーニングにより、より良いモデル圧縮が可能となり、ネットワーク挙動に関する洞察が得られ、透明性が向上した。