[論文レビュー] CGaP: Continuous Growth and Pruning for Efficient Deep Learning

Xiaocong Du, Li Zheng+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 28被引用数 11

ひとこと要約

CGaPは、小さなネットワークシードから学習を開始し、重要度スコアに基づいて重要なフィルターやニューロンを動的に拡張し、その後モデルを pruning することで、顕著に少ないパラメータ数とFLOPsで高い精度を達成する連続的成長と pruning フレームワークを提案する。CIFAR-100およびSVHNにおいて、CGaPはVGG-19のパラメータを最大85.8%削減し、FLOPsを74.2%削減し、単一の pruning の手法を上回る性能を示した。

ABSTRACT

Today a canonical approach to reduce the computation cost of Deep Neural Networks (DNNs) is to pre-define an over-parameterized model before training to guarantee the learning capacity, and then prune unimportant learning units (filters and neurons) during training to improve model compactness. We argue it is unnecessary to introduce redundancy at the beginning of the training but then reduce redundancy for the ultimate inference model. In this paper, we propose a Continuous Growth and Pruning (CGaP) scheme to minimize the redundancy from the beginning. CGaP starts the training from a small network seed, then expands the model continuously by reinforcing important learning units, and finally prunes the network to obtain a compact and accurate model. As the growth phase favors important learning units, CGaP provides a clear learning purpose to the pruning phase. Experimental results on representative datasets and DNN architectures demonstrate that CGaP outperforms previous pruning-only approaches that deal with pre-defined structures. For VGG-19 on CIFAR-100 and SVHN datasets, CGaP reduces the number of parameters by 78.9% and 85.8%, FLOPs by 53.2% and 74.2%, respectively; For ResNet-110 On CIFAR-10, CGaP reduces 64.0% number of parameters and 63.3% FLOPs.

研究の動機と目的

• 事前に定義された過剰にパラメータ化されたモデルの非効率性を是正する。これらのモデルは、冗長性を低減するため、訓練後に pruning が必要となる。
• 大規模なアーキテクチャではなく、最小限のネットワークシードから訓練を開始することで、初期の冗長性を排除する。
• 成長フェーズにおいて重要なユニットを強化することで、学習効率と pruning の精度を向上させる。
• 高い精度を達成するハードウェア効率の良いスパースモデルを生成する、動的で構造的な pruning 法を開発する。

提案手法

• CGaPは、標準モデルの0.1%〜3%のサイズを有する小さなネットワークシードから訓練を開始する。
• 各ユニットが訓練損失に与える寄与度を測る重要度スコアに基づき、新しいフィルターやニューロンを追加することで、ネットワークを継続的に拡張する。
• 成長フェーズでは重要な学習ユニットを強化し、その後の pruning フェーズにおける明確な学習目標を提供する。
• ピーク容量に達した後、構造的なフィルターやニューロンの pruning を適用して、重要でないユニットを削除する。
• 重要度スコアは、成長と pruning 決定の両方で使用され、重要なコンponents を一貫して特定する。
• 成長率、しきい値、成長頻度といったハイパーパrameterは、モデルサイズ、精度、収束性のバランスを取るためにヒューリスティックに調整される。

実験結果

リサーチクエスチョン

• RQ1 動的ネットワーク成長と pruning 策略は、モデル効率性と精度において、標準的な pruning 僅一パイプラインを上回ることができるか？
• RQ2 最小限のシードから訓練を開始することで、過剰にパラメータ化された初期化と比較して、冗長性と過学習が低減されるか？
• RQ3 成長フェーズにおける重要なユニットの強化が、最終的なモデル精度と pruning 効果性をどのように向上させるか？
• RQ4 初期シードサイズやハイパーパrameterの変動に対して、最終モデルはどの程度頑健であるか？
• RQ5 成長フェーズは、pruning フェーズを強化する意味のある学習信号として機能するか？

主な発見

• CIFAR-100では、CGaPはVGG-19のパラメータを78.9%削減し、FLOPsを53.2%削減し、ベースラインと比較して精度を0.37%向上させた。
• SVHNでは、CGaPはVGG-19のパラメータを85.8%削減し、FLOPsを74.2%削減し、精度を0.23%向上させた。
• CIFAR-10のResNet-110では、CGaPはパラメータを64.0%削減し、FLOPsを63.3%削減し、精度を0.09%向上させた。
• 重要度に基づく成長は、ランダムな成長と比較して、pruning 時の損失スパイクを1.4倍小さくし、より高い安定性を示した。
• 最終的なモデル構造は顕著にスパースで構造的であり、非構造的スパースネスと比較して、ハードウェア効率が優れている。
• 本手法は、シードサイズやハイパーパrameterの変動に対して頑健であり、テストされた設定間で精度のばらつきが2%未満にとどまった。