[論文レビュー] Pruning neural networks: is it time to nip it in the bud?

Elliot J. Crowley, Jack Turner+2 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Neural Network Applications参考文献 43被引用数 23

ひとこと要約

この論文は、より小さなネットワークを再訓練から始めることで得られるネットワーク（縮小ネットワーク）が、大きな事前学習済みモデルから接続を削除することで得られるプルーニング済みネットワークよりも一貫して優れた性能を示すという事実を通じて、ニューラルネットワークのプルーニングの有効性に疑問を呈している。著者らは、プルーニングされたアーキテクチャを再訓練から始めることで、その性能が著しく向上することを示しており、縮小ネットワークは推論速度においても優れている。これは、反復的プルーニングと微調整を行うのではなく、プルーニングによるアーキテクチャ設計がより効果的である可能性を示唆している。

ABSTRACT

Pruning is a popular method for compressing a neural network: given a large trained network, one alternates between removing connections and fine-tuning; reducing the overall width of the network. However, the efficacy of network pruning has largely evaded scrutiny. In this paper, we examine ResNets and DenseNets obtained through pruning-and-tuning and make two interesting observations: (i) reduced networks---smaller versions of the original network trained from scratch---consistently outperform pruned networks; (ii) if you take the architecture of a pruned network and then train it from scratch it is significantly more competitive. Furthermore, these architectures are easy to approximate: we can prune once and obtain a whole family of new, scalable network architectures that can simply be trained from scratch. Finally, we compare the inference speed of reduced and pruned networks on hardware, and show that reduced networks are significantly faster.

研究の動機と目的

• ResNets や DenseNets を対象として、実用的なニューラルネットワークのプルーニングの有効性を評価すること。
• プルーニング済みネットワークと、より小さなネットワークを再訓練から始めることで得られるネットワーク（縮小ネットワーク）の性能を比較すること。
• プルーニング済みネットワークのアーキテクチャを再訓練から始めることで、元のプルーニングモデルよりも優れた性能が得られるかどうかを調査すること。
• ハードウェア上での縮小ネットワークとプルーニング済みネットワークの推論速度を評価すること。
• プルーニングを用いてスケーラブルで効率的なネットワークアーキテクチャを生成できるかどうかを検討すること。

提案手法

• 比較のためのベースラインとして、ResNets や DenseNets のより小さなバージョン（縮小ネットワーク）を再訓練から始めること。
• 大きな事前学習済みネットワークに対して反復的プルーニングと微調整を適用し、プルーニング済みモデルを生成すること。
• プルーニング済みネットワークのアーキテクチャを抽出し、それを再訓練から始めることで性能を評価すること。
• プルーニング済みアーキテクチャをブループrintとして用い、スケーラブルなネットワークアーキテクチャのファミリーを生成すること。
• ハードウェア上での縮小ネットワークとプルーニング済みネットワークの推論速度を測定・比較すること。
• プルーニングを経由して得られたモデルと、再訓練から始めたモデルの性能と効率を分析すること。

実験結果

リサーチクエスチョン

• RQ1 プルーニング済みネットワークは、常に再訓練から始めた小さなネットワークよりも性能が劣るのか？
• RQ2 プルーニング済みネットワークのアーキテクチャを再訓練から始めることで、元のプルーニングモデルよりも優れた性能が得られるのか？
• RQ3 実ハードウェア上での推論速度において、縮小ネットワークはプルーニング済みネットワークよりも著しく速いのか？
• RQ4 1つのプルーニング済みアーキテクチャを用いて、スケーラブルで効率的なネットワーク設計のファミリーを生成できるのか？
• RQ5 反復的プルーニングと微調整のプロセスは、直接再訓練から始めた場合と比較して、精度が低くかつ遅いモデルを生み出すのか？

主な発見

• 再訓練から始めた縮小ネットワークは、精度においてプルーニング済みネットワークを一貫して上回る。
• プルーニング済みネットワークのアーキテクチャを再訓練から始めることで、元のプルーニングモデルよりも著しく優れた性能が得られる。
• プルーニング済みアーキテクチャを用いることで、単純な再訓練によりスケーラブルなネットワークアーキテクチャのファミリーを生成できる。
• 縮小ネットワークは、ハードウェア上での推論速度においてプルーニング済みネットワークよりも著しく速い。
• ResNets や DenseNets を含むさまざまなネットワークタイプにおいて、プルーニング済みネットワークと縮小ネットワークの性能差は一貫している。
• プルーニングと微調整のプロセスは、モデル圧縮の最も効果的な方法とは言えず、直接再訓練から始めた小さなアーキテクチャの方が優れた結果をもたらす。