[논문 리뷰] Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation

Deniz Gurevin, Shanglin Zhou외 5명|arXiv (Cornell University)|2020. 12. 18.

Advanced Neural Network Applications참고 문헌 34인용 수 7

한 줄 요약

이 논문은 재학습이 필요 없는 딥 네ural 네트워크 프루닝 방법을 제안하며, Surrogate Lagrangian Relaxation (SLR)를 사용하여 경량화된 프루닝 동안 수렴 속도를 가속화하고 모델 정확도를 향상시킨다. 이는 이차 페널티와 빠르게 수렴하는 라그랑주 승수를 활용함으로써 달성된다. 이 방법은 최신 기술 대비 더 높은 압축률을 확보하면서도 정확도 손실를 줄이며, 특히 고압축 수준에서 뛰어난 성능을 보이며 재학습이 필요한 양상을 크게 감소시킨다.

ABSTRACT

Network pruning is a widely used technique to reduce computation cost and model size for deep neural networks. However, the typical three-stage pipeline, i.e., training, pruning and retraining (fine-tuning) significantly increases the overall training trails. In this paper, we develop a systematic weight-pruning optimization approach based on Surrogate Lagrangian relaxation (SLR), which is tailored to overcome difficulties caused by the discrete nature of the weight-pruning problem while ensuring fast convergence. We further accelerate the convergence of the SLR by using quadratic penalties. Model parameters obtained by SLR during the training phase are much closer to their optimal values as compared to those obtained by other state-of-the-art methods. We evaluate the proposed method on image classification tasks, i.e., ResNet-18 and ResNet-50 using ImageNet, and ResNet-18, ResNet-50 and VGG-16 using CIFAR-10, as well as object detection tasks, i.e., YOLOv3 and YOLOv3-tiny using COCO 2014 and Ultra-Fast-Lane-Detection using TuSimple lane detection dataset. Experimental results demonstrate that our SLR-based weight-pruning optimization approach achieves higher compression rate than state-of-the-arts under the same accuracy requirement. It also achieves a high model accuracy even at the hard-pruning stage without retraining (reduces the traditional three-stage pruning to two-stage). Given a limited budget of retraining epochs, our approach quickly recovers the model accuracy.

연구 동기 및 목표

• 기존의 세 단계 프루닝 파이프라인(학습-프루닝-재학습)의 높은 계산 비용, 특히 장기적인 재학습 단계를 해결하기 위해.
• 재학습이 필요 없도록 하드 프루닝 단계에서도 높은 모델 정확도를 유지하는 최적화 방법을 개발하기 위해.
• 비볼록 DNN 최적화에서 카디널리티 제약의 이산성으로 인한 수렴 문제를 극복하여 가중치 프루닝의 수렴 속도를 가속화하기 위해.
• 자원이 제한된 장치를 위한 더 빠르고 효율적인 모델 압축을 가능하게 하기 위해 재학습 에포크 수를 줄이면서 성능 유지를 유지하기 위해.

제안 방법

• 이 방법은 스파arsity를 강제하기 위해 카디널리티 제약을 가진 비볼록 최적화 문제로 DNN 가중치 프루닝 문제를 수식화한다.
• 문제를 하위문제로 분해하기 위해 Surrogate Lagrangian Relaxation (SLR)를 활용하며, 라그랑주 승수 갱신을 통해 효율적인 조율을 가능하게 한다.
• 수렴 속도를 가속화하기 위해 SLR에 이차 페널티를 통합하여 제약 위반을 더 빠르게 감소시킨다.
• 라그랑주 승수가 최적 값으로 신속하게 수렴함으로써, 다른 방법보다 최적에 더 가까운 모델 파라미터를 확보한다.
• 알고리즘은 학습 단계 동안 적용되어 프루닝된 모델을 직접 생성하며, 프루닝 후에 피지컬 튜닝이 필요로 하지 않는다.
• 이 방법은 ResNet, VGG, YOLO 등의 다양한 아키텍처와 ImageNet, CIFAR-10, COCO, TuSimple 등의 데이터셋에서 평가되어, 다양한 작업에 걸쳐 뛰어난 강건성을 입증했다.

실험 결과

연구 질문

• RQ1 재학습이 필요 없이 하드 프루닝 단계에서 높은 모델 정확도를 달성할 수 있는 최적화 방법이 존재하는가?
• RQ2 제한된 예산 하에서 모델 정확도를 복구하기 위해 필요한 재학습 에포크 수를 줄일 수 있는가?
• RQ3 고압축률에서 SLR는 ADMM에 비해 하드 프루닝 정확도와 수렴 속도에서 어떻게 비교되는가?
• RQ4 SLR에 이차 페널티를 적용하면 표준 SLR 또는 ADMM 대비 수렴 성능과 최종 모델 성능이 향상되는가?

주요 결과

• 압축률 77.67×에서 SLR는 하드 프루닝 후 TuSimple 레인 검출 데이터셋에서 89.72%의 정확도를 달성했으며, ADMM는 46.09%로 떨어졌다.
• ImageNet에서 ResNet-18에 대해 SLR는 35.25× 압축률에서도 94.55%의 Top-1 정확도를 유지했으며, ADMM는 같은 수준에서 열등했다.
• 모든 테스트 압축률에서 SLR는 ADMM보다 더 높은 하드 프루닝 정확도를 확보했으며, 특히 고압축 수준에서의 우월성이 뚜렷하게 증가했다.
• SLR의 서브옵티멀리티 조건은 학습 도중 주기적으로 만족되었으며, 이는 일관된 수렴과 효과적인 승수 갱신을 의미한다.
• 제한된 재학습 예산 하에서 SLR는 최신 기술 대비 더 빨리 모델 정확도를 복구했으며, 광범위한 피지컬 튜닝의 필요성을 줄였다.
• 제거 분석 결과, 이중 변수의 초기값 $ s_0 = 10^{-2} $ 이 ResNet-18에서 CIFAR-10에 대해 더 빠른 수렴과 더 높은 초깃값 정확도를 유도하는 것으로 나타났다.