[論文レビュー] A Surrogate Lagrangian Relaxation-based Model Compression for Deep Neural Networks.

Deniz Gurevin, Shanglin Zhou+5 more|arXiv (Cornell University)|Dec 18, 2020

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、再訓練の大量要件を回避するためにラグランジュ乗数と二次ペナルティ項を活用し、収束を高速化する、深層ニューラルネットワークにおける効率的な重み pruning のためのサーロゲートラグランジュ緩和（SLR）手法を提案する。SLR は最小限のファインチューニングで高精度なモデルを達成する。例えば、PointPillars では 9.44x の圧縮率でわずか 3 エポックで <1% の精度損失を達成し、ADMM よりも 9.49x 圧縮率で 15.2% の精度向上を達成した。

ABSTRACT

Network pruning is a widely used technique to reduce computation cost and model size for deep neural networks. However, the typical three-stage pipeline, i.e., training, pruning and retraining (fine-tuning) significantly increases the overall training trails. For instance, the retraining process could take up to 80 epochs for ResNet-18 on ImageNet, that is 70% of the original model training trails. In this paper, we develop a systematic weight-pruning optimization approach based on Surrogate Lagrangian relaxation (SLR), which is tailored to overcome difficulties caused by the discrete nature of the weight-pruning problem while ensuring fast convergence. We decompose the weight-pruning problem into subproblems, which are coordinated by updating Lagrangian multipliers. Convergence is then accelerated by using quadratic penalty terms. We evaluate the proposed method on image classification tasks, i.e., ResNet-18, ResNet-50 and VGG-16 using ImageNet and CIFAR-10, as well as object detection tasks, i.e., YOLOv3 and YOLOv3-tiny using COCO 2014, PointPillars using KITTI 2017, and Ultra-Fast-Lane-Detection using TuSimple lane detection dataset. Numerical testing results demonstrate that with the adoption of the Surrogate Lagrangian Relaxation method, our SLR-based weight-pruning optimization approach achieves a high model accuracy even at the hard-pruning stage without retraining for many epochs, such as on PointPillars object detection model on KITTI dataset where we achieve 9.44x compression rate by only retraining for 3 epochs with less than 1% accuracy loss. As the compression rate increases, SLR starts to perform better than ADMM and the accuracy gap between them increases. SLR achieves 15.2% better accuracy than ADMM on PointPillars after pruning under 9.49x compression. Given a limited budget of retraining epochs, our approach quickly recovers the model accuracy.

研究の動機と目的

• 深層ニューラルネットワーク圧縮における標準的な三段階パイプライン（訓練-プルーニング-再訓練）の高い計算コストを低減すること。
• 重みプルーニングの離散的性質が連続空間における効率的最適化を妨える問題を克服すること。
• 収束を高速化し、極端なプルーニング下でも高精度なモデルを維持できる手法を開発すること。
• 特に制限された訓練予算下でも、プルーニング後の再訓練エポック数を削減すること。

提案手法

• スパarsity制約を扱うためにラグランジュ緩和を用いて重みプルーニング問題を制約付き最適化問題として定式化する。
• バイナリプルーニング意思決定の微分不能性に対処するため、サーロゲート緩和技術を導入する。
• ラグランジュ乗数のデュアル昇上を介して調整される反復的サブ問題に主問題を分解する。
• 最適化中の収束速度と安定性を向上させるために二次ペナルティ項を用いる。
• ネットワーク重みとラグランジュ乗数の間で交互最適化を実行し、緩和された目的関数を同時に最小化する。
• 一般化を検証するため、さまざまなアーキテクチャ（ResNet, VGG, YOLO, PointPillars）とデータセット（ImageNet, COCO, KITTI, TuSimple）にわたって手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 サーロゲートラグランジュ緩和アプローチは、再訓練エポック数を最小限に抑えながら高精度なモデル圧縮を達成できるか？
• RQ2 高い圧縮率下で、SLR は ADMM と比べて精度と収束速度で優れているか？
• RQ3 長時間のファインチューニングなしに、極端に強いプルーニングを適用しても SLR はモデル性能をどれほど維持できるか？
• RQ4 SLR は画像分類や物体検出を含む多様なアーキテクチャとタスクに一般化できるか？
• RQ5 競争力のある精度を維持しながら、SLR は必要な再訓練エポック数を削減できるか？

主な発見

• KITTI 2017 データセットの PointPillars モデルにおいて、SLR は 9.44x の圧縮率を達成し、再訓練エポック数はわずか 3 回で精度損失は 1% 未満であった。
• 9.49x の圧縮率下で、SLR は PointPillars モデルにおいて ADMM よりも 15.2% の精度向上を達成した。
• ハードプルーニング段階ですでに高い精度を維持できており、長時間の再訓練の必要性が顕著に低減された。
• 圧縮率が高くなるほど ADMM よりも優れた性能を示し、スパarsity が高くなると精度差がさらに拡大した。
• ImageNet における ResNet-18 では、SLR が再訓練時間を元のトレーニング時間の 30% 未満にまで短縮し、標準パイプラインで一般的な 80 エポックの再訓練を回避した。
• SLR は画像分類（ImageNet, CIFAR-10）と物体検出（COCO, KITTI, TuSimple）を含む多様なタスクにわたり、強力な一般化性能を示した。