[論文レビュー] Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation

Deniz Gurevin, Shanglin Zhou+5 more|arXiv (Cornell University)|Dec 18, 2020

Advanced Neural Network Applications参考文献 34被引用数 7

ひとこと要約

本稿では、Surrogate Lagrangian Relaxation (SLR) を用いた再訓練を不要とする深層ニューラルネットワークの剪定手法を提案する。この手法は、2次罰則と高速収束性を示すラグランジュ乗数を活用することで、ハード剪定中に収束を加速し、モデルの精度を向上させる。最先端の手法と比較して、特に高い圧縮率において、精度の低下を抑えつつより高い圧縮率を達成し、再訓練の必要を顕著に削減する。

ABSTRACT

Network pruning is a widely used technique to reduce computation cost and model size for deep neural networks. However, the typical three-stage pipeline, i.e., training, pruning and retraining (fine-tuning) significantly increases the overall training trails. In this paper, we develop a systematic weight-pruning optimization approach based on Surrogate Lagrangian relaxation (SLR), which is tailored to overcome difficulties caused by the discrete nature of the weight-pruning problem while ensuring fast convergence. We further accelerate the convergence of the SLR by using quadratic penalties. Model parameters obtained by SLR during the training phase are much closer to their optimal values as compared to those obtained by other state-of-the-art methods. We evaluate the proposed method on image classification tasks, i.e., ResNet-18 and ResNet-50 using ImageNet, and ResNet-18, ResNet-50 and VGG-16 using CIFAR-10, as well as object detection tasks, i.e., YOLOv3 and YOLOv3-tiny using COCO 2014 and Ultra-Fast-Lane-Detection using TuSimple lane detection dataset. Experimental results demonstrate that our SLR-based weight-pruning optimization approach achieves higher compression rate than state-of-the-arts under the same accuracy requirement. It also achieves a high model accuracy even at the hard-pruning stage without retraining (reduces the traditional three-stage pruning to two-stage). Given a limited budget of retraining epochs, our approach quickly recovers the model accuracy.

研究の動機と目的

• 従来の3段階剪定パイプライン（学習－剪定－再学習）の高い計算コスト、特に長い再学習フェーズを軽減すること。
• ハード剪定段階ですでに高いモデル精度を維持できる最適化手法を開発し、再学習の必要を最小限または完全に排除すること。
• 非凸DNN最適化における基数制約の離散的性質に起因する収束遅延を克服し、重み剪定における収束を加速すること。
• リソース制約のあるデバイス向けに、性能を維持しつつ再学習エポック数を削減することで、より高速かつ効率的なモデル圧縮を実現すること。

提案手法

• 本手法は、スパarsityを強制する基数制約を伴う非凸最適化問題としてDNN重み剪定問題を定式化する。
• 問題を部分問題に分解できるように、Surrogate Lagrangian Relaxation (SLR) を用いて問題を緩和化し、ラグランジュ乗数の更新によって効率的な連携を実現する。
• 収束を加速するために、SLRに2次罰則を統合し、制約違反をより速く減少させる。
• ラグランジュ乗数の高速収束を保証することで、他の手法と比較して最適に近いモデルパラメータに到達する。
• アルゴリズムは学習フェーズ中に適用され、剪定後の微調整を必要とせず、直接的に剪定済みモデルを生成する。
• 本手法は、複数のアーキテクチャ（ResNet, VGG, YOLO）およびデータセット（ImageNet, CIFAR-10, COCO, TuSimple）で評価され、タスク間での頑健性が示された。

実験結果

リサーチクエスチョン

• RQ1 再学習を必要とせずに、ハード剪定段階で高いモデル精度を達成できる最適化手法は存在するか？
• RQ2 特に予算が限られた状況下でも、モデル精度を回復させるために必要な再学習エポック数を削減できるか？
• RQ3 高圧縮率におけるハード剪定精度と収束速度の観点から、SLRはADMMと比較してどのように異なるか？
• RQ4 SLRに2次罰則を導入することで、標準的なSLRやADMMと比較して収束性と最終的なモデル性能が向上するか？

主な発見

• 77.67倍の圧縮率において、SLRはハード剪定後にTuSimpleのレーン検出データセットで89.72％の精度を達成したのに対し、ADMMは46.09％に低下した。
• ImageNetにおけるResNet-18では、35.25倍の圧縮率でもSLRが94.55％のトップ-1精度を維持したのに対し、ADMMは同率で劣った。
• 全テスト圧縮率においてSLRはADMMを上回るハード剪定精度を達成し、特に高圧縮率においてその優位性が顕著に拡大した。
• SLRにおけるサーヴィエート最適性条件は、学習中に周期的に満たされており、一貫した収束と効果的な乗数更新を示している。
• 再学習の予算が限られた状況でも、SLRは最先端手法よりも速やかにモデル精度を回復させ、広範な微調整の必要を減らした。
• アブレーションスタディの結果、初期値 $ s_0 = 10^{-2} $ がCIFAR-10におけるResNet-18で収束を速め、初期精度を高める要因となった。