[論文レビュー] Multi-Objective Pruning for CNNs Using Genetic Algorithm

Chuanguang Yang, Zhulin An+3 more|arXiv (Cornell University)|Jun 2, 2019

Advanced Neural Network Applications参考文献 9被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNNs）の剪定に、同時に精度、計算効率、モデルスパarsityを最適化できる多目的遺伝的アルゴリズム（GA）を提案する。重み付きフィットネス関数と再訓練を伴う反復的剪定を用いることで、LeNet/MNIST上で95.42%のパラメータ削減と16倍の計算速度向上を達成し、精度損失を最小限に抑え、計算リソース削減の面で最先端の手法を上回る。ハイパーパramータチューニングにより、目的のトレードオフをカスタマイズ可能である。

ABSTRACT

In this work, we propose a heuristic genetic algorithm (GA) for pruning convolutional neural networks (CNNs) according to the multi-objective trade-off among error, computation and sparsity. In our experiments, we apply our approach to prune pre-trained LeNet across the MNIST dataset, which reduces 95.42% parameter size and achieves 16$ imes$ speedups of convolutional layer computation with tiny accuracy loss by laying emphasis on sparsity and computation, respectively. Our empirical study suggests that GA is an alternative pruning approach for obtaining a competitive compression performance. Additionally, compared with state-of-the-art approaches, GA is capable of automatically pruning CNNs based on the multi-objective importance by a pre-defined fitness function.

研究の動機と目的

• 実世界のビジョン応用において、複数の目的のトレードオフを考慮しない既存の剪定手法の限界を解消すること。
• 誤差率、計算コスト（FLOPs）、モデルスパarsityの3つを同時に最適化する剪定フレームワークの開発。
• 設定可能なフィットネス関数を通じて、これらの目的の相対的重要性を調整することで、カスタマイズ可能な圧縮結果を実現すること。
• 特に遺伝的アルゴリズムを用いた進化的計算が、構造的で多目的なCNN剪定に有効であることを示すこと。
• 剪定、再訓練、集団の再初期化を組み合わせた2段階の反復フレームワークを提供し、収束性と性能の向上を図ること。

提案手法

• 本手法は、M個のパラメータ遺伝子からなるゲノムとしてCNNを表現する。各遺伝子は層の重み（CONVでは4次元テンソル、FCでは2次元）を表す。
• フィットネス関数 f = λ₁e + λ₂c + λ₃(1−s) を最小化する。ここで、eは誤差率、cは計算量残存率、sはスパarsity、λ₁, λ₂, λ₃は合計が1となる調整可能な重みである。
• 2段階の反復的プロセスを用いる：(1) 剪定済みネットワークの集団に対して、遺伝的操作（選択、交差、変異）を実行し、(2) エリートネットワークを再訓練し、それを用いて集団を再初期化する。
• 変異は、CONV層ではフィルターレベル（粗い粒度）で、FC層では接続レベル（細かい粒度）で実行され、それぞれP_mcおよびP_mfの変異率に従う。
• 交差にはマイクロバイアルクロスオーバーを用いる：より良いフィットネスを持つゲノム（勝者）が、より悪いフィットネスを持つゲノム（負け者）に50%の確率で遺伝子を転送し、エリート解を保持する。
• 選択には切断選択（truncation selection）を用い、フィットネスが最も低いK個のゲノムを選抜して次世代の繁殖に使用することで、高速な収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、CNN剪定において、相互に矛盾する複数の目的（精度、計算コスト、スパarsity）を効果的にバランスさせることができるか？
• RQ2 調整可能な重みを備えた本手法の多目的フィットネス関数は、異なるデプロイメント環境に適したカスタマイズ可能な圧縮結果を実現できるか？
• RQ3 2段階の反復的剪定と再訓練フレームワークは、ワンショット法や再訓練なしの手法と比較して、収束性と性能が向上するか？
• RQ4 CONV層での粗い粒度の剪定とFC層での細かい粒度の剪定を併用することで、高いスパarsityと顕著なFLOPs削減を達成しながら、精度を損なわないか？
• RQ5 スパarsity、計算リソース削減、精度安定性の観点から、本手法のGAベースの剪定は最先端の手法と比較して優れているか？

主な発見

• 提案されたGAは、LeNet/MNISTで95.42%のパラメータ削減と16倍の畳み込み層計算速度向上を達成し、誤差率は0.89%にとどまり、精度損失は最小限に抑えられた。
• λ₁=0.5、λ₂=0、λ₃=0.5に設定した場合、最大スパarsity（95.42%）を維持しながら、9.00%のFLOPs残存率を達成した。
• λ₁=0.5、λ₂=0.5、λ₃=0の設定では、計算リソース削減を最優先にしたが、他の手法と比較して著しく優れた性能（6.10%のFLOPs残存率）を示した。
• バランスの取れた目的（λ₁=0.3、λ₂=0.4、λ₃=0.3）の下で、94.30%のスパarsityと6.22%のFLOPs残存率を達成し、計算効率の観点で大多数のベースラインを上回った。
• 本手法は、λ₁、λ₂、λ₃のチューニングにより、用途に応じた柔軟な圧縮が可能である。ユーザーは精度、速度、モデルサイズの優先順位を必要に応じて調整できる。
• 最先端の手法と比較して、本手法のGAベースの剪定は、常に最高のスパarsityを達成するとは限らないが、計算リソース削減の面で優れた性能を示しており、FLOPs削減に向けた粗い粒度の剪定の有効性が裏付けられた。