[論文レビュー] Approximated Oracle Filter Pruning for Destructive CNN Width\n Optimization

Xiaohan Ding, Guiguang Ding+3 more|arXiv (Cornell University)|May 12, 2019

Advanced Neural Network Applications参考文献 45被引用数 54

ひとこと要約

AOFP は最も重要でないフィルタを選択するために二分探索を用いて Oracle Pruning を近似する多経路のトレーニング時 pruning フレームワークを導入し、層間の同時 pruning を最小の精度損失と高速推論で実現します。

ABSTRACT

It is not easy to design and run Convolutional Neural Networks (CNNs) due to:\n1) finding the optimal number of filters (i.e., the width) at each layer is\ntricky, given an architecture; and 2) the computational intensity of CNNs\nimpedes the deployment on computationally limited devices. Oracle Pruning is\ndesigned to remove the unimportant filters from a well-trained CNN, which\nestimates the filters' importance by ablating them in turn and evaluating the\nmodel, thus delivers high accuracy but suffers from intolerable time\ncomplexity, and requires a given resulting width but cannot automatically find\nit. To address these problems, we propose Approximated Oracle Filter Pruning\n(AOFP), which keeps searching for the least important filters in a binary\nsearch manner, makes pruning attempts by masking out filters randomly,\naccumulates the resulting errors, and finetunes the model via a multi-path\nframework. As AOFP enables simultaneous pruning on multiple layers, we can\nprune an existing very deep CNN with acceptable time cost, negligible accuracy\ndrop, and no heuristic knowledge, or re-design a model which exerts higher\naccuracy and faster inference.\n

研究の動機と目的

• CNN における層幅を選択するという効率性と性能の課題に対処する。
• パラメータと FLOPs を削減しつつ精度を保持する剪定手法を開発する。
• 時間コストを最小化しつつ複数の層で同時剪定を可能にする。
• Destructive CNN Re-design の設計ワークフローを提供し推論速度と精度を向上させる。

提案手法

• Damage Isolation によって次の層の出力への影響を評価し、フィルタの重要度を定義する。
• Approximated Oracle Filter Pruning（AOFP）を備えた多経路のトレーニング時フレームワークを導入し、フィルタをランダムにマスクしてダメージ信号を蓄積する。
• 各ムーブ内で最も重要でないフィルタを反復的に特定し剪定するための二分探索アプローチを用いる。
• ベースパスとスコアリングパスを用いてファインチューニングとスコアリングを並列化し、層間の同時剪定を可能にする。
• 次の層の出力にわたる per-sample ダメージを平均して概算の重要度スコアを算出する。
• refinement threshold theta を用いて剪定の粒度とダメージを制御する移動で剪定を行う。

実験結果

リサーチクエスチョン

• RQ1 AOFP は Oracle Pruning と比較して妥当な時間コストで重要でないフィルタを正確に識別できるか。
• RQ2 同時多層剪定は深い CNNs における FLOPs とパラメータを削減しつつ精度を維持できるか。
• RQ3 二分探索戦略は手動の層別チューニングなしに剪定の粒度と終了条件を適応できるか。
• RQ4 AOFP は異なるアーキテクチャ（VGG、ResNet）やデータセット（CIFAR-10、ImageNet）で現存の剪定法と比較してどうなるか。
• RQ5 AOFP によって導かれる Destructive CNN Re-design は与えられた FLOPs 予算でより高い精度を達成できるか。

主な発見

• AOFP はオラクル品質に近いフィルタ重要度推定を、はるかに低い時間コストで実現する。
• AOFP は複数の層での同時剪定を可能にし、VGG や ResNet のような CNN で顕著な FLOPs およびパラメータの削減を、精度損失がほとんどない状態でもたらす。
• AOFP によって指針される Destructive CNN Re-design は、層間の幅を再配置することにより精度と推論速度を改善できる（例：より多くのフィルタを benefit する層、より少なくて済む層）。
• CIFAR-10 および ImageNet の実験は、他の剪定法と比較して Top-1/Top-5 精度が競争力がある、あるいは改善される強力な圧縮を示す。
• AOFP はより剪定しやすい層を自動検出し、時間とともに剪定粒度を適用的に適応することで、重い手動調整なしにグローバルな漸進的剪定を可能にする。