[論文レビュー] Channel Pruning via Automatic Structure Search

Mingbao Lin, Rongrong Ji+4 more|arXiv (Cornell University)|Jan 23, 2020

Advanced Neural Network Applications参考文献 29被引用数 23

ひとこと要約

本稿では、人工蜂群（ABC）アルゴリズムを用いて最適な圧縮ネットワーク構造（各層のチャネル数）を自動的に探索する、ABCPrunerと呼ばれる新しいチャネルプルーニング手法を提案する。ヒューリスティックなフィルタ重要度スコアに依存するのではなく、特定のチャネル割合（例：10%、20%、…、70%）に制限された探索空間を設定することで、組み合わせ的複雑性を著しく低減し、効率的なエンドツーエンドのファインチューニングを可能にした。既存手法と比較して、はるかに少ないトレーニングエポック数で最先端の精度を達成している。

ABSTRACT

Channel pruning is among the predominant approaches to compress deep neural networks. To this end, most existing pruning methods focus on selecting channels (filters) by importance/optimization or regularization based on rule-of-thumb designs, which defects in sub-optimal pruning. In this paper, we propose a new channel pruning method based on artificial bee colony algorithm (ABC), dubbed as ABCPruner, which aims to efficiently find optimal pruned structure, i.e., channel number in each layer, rather than selecting "important" channels as previous works did. To solve the intractably huge combinations of pruned structure for deep networks, we first propose to shrink the combinations where the preserved channels are limited to a specific space, thus the combinations of pruned structure can be significantly reduced. And then, we formulate the search of optimal pruned structure as an optimization problem and integrate the ABC algorithm to solve it in an automatic manner to lessen human interference. ABCPruner has been demonstrated to be more effective, which also enables the fine-tuning to be conducted efficiently in an end-to-end manner. The source codes can be available at https://github.com/lmbxmu/ABCPruner.

研究の動機と目的

• ルールベースまたは重要度駆動のチャネル選択に依存する既存のチャネルプルーニング手法の性能が最適でない問題に対処すること。
• 深層畳み込みニューラルネットワークにおける最適な圧縮ネットワーク構造の探索空間を、実行不能な組み合わせ的複雑性から低減すること。
• 最適化ベースの探索フレームワークを用いて、人為的介入を最小限に抑え、自動的かつエンドツーエンドのチャネルプルーニングを可能にすること。
• プルーニング後のファインチューニングに必要なエポック数を最小限に抑えることで、トレーニング効率を向上させること。

提案手法

• 探索空間を、各層の保持チャネル数を事前に定義された割合（例：10%、20%、…、70%）に制限することで制限し、全組み合わせ数を ∏c_j から (10α)^L に削減する。
• 全層にわたる最適なチャネル構成を反復的に探索するために、人工蜂群（ABC）アルゴリズムが採用される。
• 各候補構造は、事前に訓練済みのフルモデルからのランダムに割り当てられたフィルタで初期化され、固定エポック数分トレーニングして適合度（精度）を評価する。
• ABCアルゴリズムは適合度スコアに基づいて構造の集団を更新し、サイクルを繰り返すことで、次第に最良の候補解を改善する。
• 最も高い性能を示した構造が選択され、それを基に圧縮ネットワークを初期化し、少数のエポックでエンドツーエンドにファインチューニングされる。
• 探索プロセスはファインチューニングから分離されており、モデル適応の前に効率的な構造発見が可能である。

実験結果

リサーチクエスチョン

• RQ1 ABCのようなメタヒューリスティクスによる自動構造探索は、精度と効率の面で、ヒューリスティックまたは重要度ベースのチャネルプルーニングを上回ることができるか？
• RQ2 チャネル割合を離散的（例：10%、20%、…、70%）に制限することで、最適性を損なわず、組み合わせ的複雑性を著しく低減できるか？
• RQ3 ABCアルゴリズムは、深層畳み込みニューラルネットワークの全層にわたり、人為的介入を最小限に抑えながら最適な圧縮構造を効果的に特定できるか？
• RQ4 ABCPrunerのトレーニング効率は、既存のプルーニング手法と比較して、特に総トレーニングエポック数の観点で優れているか？

主な発見

• ABCPrunerは、102エポック（探索用12エポック、ファインチューニング用90エポック）でImageNetでトップ-1精度74.84%を達成し、ThiNet（244エポック）やMetaPruning（160エポック）と比較してはるかに少ないトレーニングエポック数で実現している。
• ResNet-50を50%のチャネルプルーニングで適用した場合、FLOPsは2.56Gから1.30Gに削減され、精度は71.01%から72.58%に向上した。
• ResNet-56、ResNet-50、VGGNetなど複数のモデルでSOTA性能を達成し、精度の向上とFLOPsの削減の両面で一貫した改善を示した。
• α（70%に設定）の影響は、モデル圧縮と精度のトレードオフを示しており、より高いα値は精度は向上させるが、圧縮度は低下する。
• ABCPrunerは、重要度ベースの手法（例：ThiNet、CP）および自動プルーニングベースライン（例：MetaPruning）を、精度とトレーニング効率の両面で上回った。