[논문 리뷰] A Surrogate Lagrangian Relaxation-based Model Compression for Deep Neural Networks.

Deniz Gurevin, Shanglin Zhou외 5명|arXiv (Cornell University)|2020. 12. 18.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 깊이 신경망에서 효율적인 가중치 프루닝을 위한 서로서게 라그랑주 슈퍼바이저(서포트 라그랑주) 방법(SLR)을 제안한다. 재학습 과정을 최소화하기 위해 라그랑주 승수와 이차 페널티 항을 활용하여 수렴 속도를 가속화한다. SLR는 최소한의 피니팅으로도 높은 정확도의 모델을 달성한다. 예를 들어 PointPillars에서 9.44배 압축 비율을 달성했고 정확도 손실이 1% 미만이었으며, 단지 3 에포크의 재학습만 필요로 했고, ADMM보다 9.49배 압축 비율에서 15.2% 높은 정확도를 기록했다.

ABSTRACT

Network pruning is a widely used technique to reduce computation cost and model size for deep neural networks. However, the typical three-stage pipeline, i.e., training, pruning and retraining (fine-tuning) significantly increases the overall training trails. For instance, the retraining process could take up to 80 epochs for ResNet-18 on ImageNet, that is 70% of the original model training trails. In this paper, we develop a systematic weight-pruning optimization approach based on Surrogate Lagrangian relaxation (SLR), which is tailored to overcome difficulties caused by the discrete nature of the weight-pruning problem while ensuring fast convergence. We decompose the weight-pruning problem into subproblems, which are coordinated by updating Lagrangian multipliers. Convergence is then accelerated by using quadratic penalty terms. We evaluate the proposed method on image classification tasks, i.e., ResNet-18, ResNet-50 and VGG-16 using ImageNet and CIFAR-10, as well as object detection tasks, i.e., YOLOv3 and YOLOv3-tiny using COCO 2014, PointPillars using KITTI 2017, and Ultra-Fast-Lane-Detection using TuSimple lane detection dataset. Numerical testing results demonstrate that with the adoption of the Surrogate Lagrangian Relaxation method, our SLR-based weight-pruning optimization approach achieves a high model accuracy even at the hard-pruning stage without retraining for many epochs, such as on PointPillars object detection model on KITTI dataset where we achieve 9.44x compression rate by only retraining for 3 epochs with less than 1% accuracy loss. As the compression rate increases, SLR starts to perform better than ADMM and the accuracy gap between them increases. SLR achieves 15.2% better accuracy than ADMM on PointPillars after pruning under 9.49x compression. Given a limited budget of retraining epochs, our approach quickly recovers the model accuracy.

연구 동기 및 목표

• 깊이 신경망 압축에서 표준 3단계 학습-프루닝-재학습 파이프라인의 높은 계산 비용을 해결하기 위해.
• 이산적인 가중치 프루닝의 성격으로 인해 연속 공간에서의 효율적 최적화가 어려운 문제를 해결하기 위해.
• 강한 프루닝 조건에서도 수렴 속도를 가속화하고 높은 모델 정확도를 유지할 수 있는 방법을 개발하기 위해.
• 특히 제한된 학습 예산 하에서 프루닝 후 재학습에 필요한 에포크 수를 줄이기 위해.

제안 방법

• 스패arsity 제약 조건을 다루기 위해 라그랑주 슈퍼바이저를 활용한 제약 최적화 문제로 가중치 프루닝 문제를 수식화한다.
• 이진 프루닝 결정의 비가속성 특성으로 인해 발생하는 문제를 해결하기 위해 서로서게 릴랙세이션 기법을 도입한다.
• 라그랑주 승수에 대한 이중 상승을 통해 조율하는 방식으로 주 문제를 반복적으로 해결할 수 있는 하위 문제로 분해한다.
• 최적화 과정 중 수렴 속도와 안정성을 향상시키기 위해 이차 페널티 항을 활용한다.
• 네트워크 가중치와 라그랑주 승수 간의 교차 최적화를 통해 이완된 목적 함수를 동시에 최소화한다.
• 다양한 아키텍처(ResNet, VGG, YOLO, PointPillars)와 데이터셋(ImageNet, COCO, KITTI, TuSimple)을 대상으로 적용하여 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 서로서게 라그랑주 슈퍼바이저 기법을 통해 최소한의 재학습 에포크로도 고정확도의 모델 압축을 달성할 수 있는가?
• RQ2 높은 압축 비율 조건에서 SLR는 ADMM 대비 정확도와 수렴 속도에서 어떻게 비교되는가?
• RQ3 심한 프루닝 조건에서 장기간의 피니팅 없이도 SLR가 모델 성능을 얼마나 잘 유지할 수 있는가?
• RQ4 SLR는 이미지 분류 및 객체 탐지와 같은 다양한 아키텍처와 작업에 대해 일반화 가능한가?
• RQ5 경쟁적인 정확도를 유지하면서도 필요한 재학습 에포크 수를 줄일 수 있는가?

주요 결과

• KITTI 2017 데이터셋 기반 PointPillars 모델에서 SLR는 9.44배의 압축 비율을 달성했고, 재학습에 단 3 에포크만 소요되었으며 정확도 손실은 1% 미만이었다.
• 9.49배 압축 비율에서 SLR는 PointPillars 모델에서 ADMM보다 15.2% 높은 정확도를 기록했다.
• 강한 프루닝 단계에서도 SLR는 높은 정확도를 유지했으며, 긴 재학습 과정이 거의 필요로 하지 않았다.
• 압축 비율이 높아질수록 ADMM 대비 성능이 뛰어나지 않아서, 더 높은 희박성 조건에서 정확도 격차가 더욱 벌어졌다.
• ImageNet 기반 ResNet-18에서 SLR는 재학습 시간을 원래 학습 시간의 30% 미만으로 줄였고, 표준 파이프라인에서 흔히 볼 수 있는 80 에포크의 재학습을 피했다.
• SLR는 이미지 분류(ImageNet, CIFAR-10)와 객체 탐지(COCO, KITTI, TuSimple)를 포함한 다양한 작업에서 뛰어난 일반화 능력을 보였다.