[論文レビュー] Really should we pruning after model be totally trained? Pruning based on a small amount of training.

Yue Li, Weibin Zhao+1 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Neural Network Applications参考文献 33被引用数 4

ひとこと要約

本稿では、最小限の事前学習（数エポックのみ）で競争力のあるモデル圧縮と高速化を達成する、新しいプルーニングアルゴリズムであるIncremental Pruning based on Less Training（IPLT）を提案する。IPLTは学習中に段階的にプルーニングを適用することで、VGG-19のCIFAR-10におけるモデル圧縮を8x–9x、学習および推論における速度向上を最大10xに達成し、効果的なプルーニングには長期間の事前学習が必要であるという仮定に挑戦する。

ABSTRACT

Pre-training of models in pruning algorithms plays an important role in pruning decision-making. We find that excessive pre-training is not necessary for pruning algorithms. According to this idea, we propose a pruning algorithm---Incremental pruning based on less training (IPLT). Compared with the traditional pruning algorithm based on a large number of pre-training, IPLT has competitive compression effect than the traditional pruning algorithm under the same simple pruning strategy. On the premise of ensuring accuracy, IPLT can achieve 8x-9x compression for VGG-19 on CIFAR-10 and only needs to pre-train few epochs. For VGG-19 on CIFAR-10, we can not only achieve 10 times test acceleration, but also about 10 times training acceleration. At present, the research mainly focuses on the compression and acceleration in the application stage of the model, while the compression and acceleration in the training stage are few. We newly proposed a pruning algorithm that can compress and accelerate in the training stage. It is novel to consider the amount of pre-training required by pruning algorithm. Our results have implications: Too much pre-training may be not necessary for pruning algorithms.

研究の動機と目的

• 長期間の事前学習が有効なニューラルネットワークプルーニングに不可欠であるという仮定に挑戦すること。
• 訓練段階でモデル圧縮と高速化を可能にするプルーニングアルゴリズムを開発すること。
• 高い精度と圧縮効率を維持しながら、必要な事前学習量を最小限に抑えること。
• 短縮された事前学習でも、従来手法と比較して競争力のあるプルーニング性能を達成できるかどうかを調査すること。

提案手法

• IPLTは、完全な事前学習後にプルーニングを適用するのではなく、訓練中に段階的にプルーニングを適用する戦略を導入する。
• アルゴリズムは、わずかな初期訓練エポックに基づいてプルーニングを実行し、事前学習フェーズを著しく短縮する。
• 冗長なパラメータを段階的に削除しながらもモデル精度を維持するシンプルなプルーニング戦略を採用する。
• プルーニングを訓練ループに直接統合することで、モデル最適化と同時に圧縮と高速化を実現する。
• 重みの絶対値に基づくプルーニング決定を採用しているが、最小限の事前学習後に段階的に適用する。
• 標準的な訓練パイプラインと互換性があるように設計されており、アーキテクチャや訓練手順の変更を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 従来手法と比較して顕著に短縮された事前学習で、効果的なニューラルネットワークプルーニングが達成可能か？
• RQ2 訓練中に段階的にプルーニングを適用する方法が、長期間の事前学習に依存する従来手法を上回るか、同等の性能を発揮するか？
• RQ3 競争力のある圧縮と高速化を達成するために必要な最小限の事前学習量はどの程度か？
• RQ4 プルーニングを訓練プロセスに効果的に統合することで、学習および推論の両方の高速化が可能か？
• RQ5 事前学習の短縮が、モデル精度や圧縮効率にトレードオフをもたらすか？

主な発見

• IPLTは、CIFAR-10のVGG-19に対してわずか数エポックの事前学習で8x–9xのモデル圧縮を達成し、従来手法と同等またはそれ以上の性能を示した。
• 本手法は、学習および推論の両方で最大10倍の高速化を実現し、計算コストを顕著に削減した。
• 極めて短い事前学習でもIPLTは高いテスト精度を維持しており、効果的なプルーニングには長期間の事前学習が必須でないことを示した。
• アルゴリズムは、訓練開始から圧縮と高速化を効果的に適用できることを示した。
• 結果として、成功したプルーニングには長期間の事前学習フェーズが不可欠であるという一般的な仮定に疑問を呈し、事前学習を大幅に短縮可能であると示唆した。