[논문 리뷰] ADAM-ADMM: A Unified, Systematic Framework of Structured Weight Pruning for DNNs.

Tianyun Zhang, Kaiqi Zhang외 7명|arXiv (Cornell University)|2018. 07. 29.

Advanced Neural Network Applications참고 문헌 30인용 수 56

한 줄 요약

ADAM-ADMM는 DNN에서 구조적 가중치 프루닝을 위한 통합적이고 체계적인 프레임워크를 제안하며, 적응형 모멘텀 추정과 ADMM를 결합하여 정규화 목표를 동적으로 업데이트함으로써 고밀도 프루닝(최대 13.2배 압축)과 높은 GPU 가속도(최대 7.5배)를 달성하면서 정확도 손실 없이 또는 최소한의 정확도 저하로도 가능하게 한다. AlexNet에서 33% 프루닝 비율일 때 정확도가 1.64% 향상되었다.

ABSTRACT

Weight pruning methods of deep neural networks (DNNs) have been demonstrated to achieve a good model pruning ratio without loss of accuracy, thereby alleviating the significant computation/storage requirements of large-scale DNNs. Structured weight pruning methods have been proposed to overcome the limitation of irregular network structure and demonstrated actual GPU acceleration. However, the pruning ratio (degree of sparsity) and GPU acceleration are limited (to less than 50%) when accuracy needs to be maintained. In this work, we overcome pruning ratio and GPU acceleration limitations by proposing a unified, systematic framework of structured weight pruning for DNNs, named ADAM-ADMM (Adaptive Moment Estimation-Alternating Direction Method of Multipliers). It is a framework that can be used to induce different types of structured sparsity, such as filter-wise, channel-wise, and shape-wise sparsity, as well non-structured sparsity. The proposed framework incorporates stochastic gradient descent with ADMM, and can be understood as a dynamic regularization method in which the regularization target is analytically updated in each iteration. A significant improvement in weight pruning ratio is achieved without loss of accuracy, along with fast convergence rate. With a small sparsity degree of 33% on the convolutional layers, we achieve 1.64% accuracy enhancement for the AlexNet (CaffeNet) model. This is obtained by mitigation of overfitting. Without loss of accuracy on the AlexNet model, we achieve 2.6 times and 3.65 times average measured speedup on two GPUs, clearly outperforming the prior work. The average speedups reach 2.77 times and 7.5 times when allowing a moderate accuracy loss of 2%. In this case the model compression for convolutional layers is 13.2 times, corresponding to 10.5 times CPU speedup. Our models and codes are released at https://github.com/KaiqiZhang/ADAM-ADMM

연구 동기 및 목표

• 정확도를 유지하면서 50% 미만의 프루닝 비율과 제한된 GPU 가속도를 보이는 기존의 구조적 프루닝 방법의 한계를 해결한다.
• 단일 통합 접근 방식 내에서 필터 기반, 채널 기반, 형태 기반, 비구조적 프루닝을 포함한 다양한 유형의 구조적 밀도를 유도할 수 있는 체계적 프레임워크를 개발한다.
• 모델 압축, 추론 속도, 정확도 간의 상충 관계를 극복하기 위해 고비율 프루닝과 빠른 수렴, 최소한의 정확도 저하를 가능하게 한다.
• 현대 하드웨어에서 효율적인 커널 실행과 호환되는 구조적 밀도를 확보하여, 프루닝된 모델에 대한 실질적인 GPU 가속도를 달성한다.

제안 방법

• 구조적 가중치 프루닝을 위한 하이브리드 최적화 프레임워크를 구축하기 위해 확률적 경사 하강법(SGD)과 분할 증분 다중 승수 방법(ADMM)을 통합한다.
• 각 반복 단계에서 적응형 모멘텀 추정을 기반으로 정규화 목표를 분석적으로 업데이트함으로써 적응형 정규화를 도입하여 동적 밀도 유도를 가능하게 한다.
• ADMM를 통해 제약 조건 최적화 문제로 프루닝 문제를 설정하며, 이중 변수와 보완 라그랑주 항을 반복적으로 업데이트한다.
• ADMM 프레임워크 내에서 유연한 제약 조건 설계를 통해 필터 기반, 채널 기반, 형태 기반, 비구조적 프루닝 등 다양한 밀도 패턴을 지원한다.
• ADMM의 페널티 파라미터에 웜업 전략을 도입하여 학습 중 수렴성과 안정성을 향상시킨다.
• 구조적 밀도를 활용하여 효율적인 GPU 커널 실행을 가능하게 하여 현대 GPU 아키텍처에서 추론 속도를 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 정확도를 유지하거나 향상시키면서도 다양한 유형의 구조적 밀도(필터 기반, 채널 기반, 형태 기반)를 동시에 유도할 수 있는가?
• RQ2 ADMM와 적응형 모멘텀 추정을 통합할 경우, 구조적 프루닝에서 수렴 속도와 최종 모델 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 AlexNet과 같은 표준 DNN에서 정확도 손실 없이 고밀도 프루닝 비율(예: 10배 이상)을 달성할 수 있는가?
• RQ4 기존 최고 수준의 구조적 프루닝 방법에 비해, 결과적으로 프루닝된 모델이 얻는 GPU 추론 가속도는 어느 정도인가?
• RQ5 특히 고밀도 프루닝 수준에서 프루닝 과정 중 과적합을 어떻게 완화하는가?

주요 결과

• 컨볼루션 레이어에서 33% 프루닝 비율일 때, ADAM-ADMM는 AlexNet(CaffeNet) 모델에서 정확도가 1.64% 향상되었으며, 이는 과적합 완화의 결과로 기인한다.
• 정확도 손실 없이도 두 가지 다른 GPU 환경에서 평균 2.6배와 3.65배의 GPU 가속도를 달성하여 이전 연구를 능가했다.
• 최대 2%의 정확도 저하를 허용할 경우, 평균 GPU 가속도는 각각 2.77배와 7.5배로 증가하여 뛰어난 확장성을 보였다.
• 컨볼루션 레이어의 모델 압축 비율은 13.2배에 달했으며, 이는 CPU 추론에서 10.5배의 가속도에 해당하여 프루닝된 모델의 실용적 효율성을 입증했다.
• 프레임워크는 단일 통합 프레임워크 내에서 필터 기반, 채널 기반, 형태 기반, 비구조적 프루닝을 성공적으로 유도하였다.
• 적응형 모멘텀 추정 기반의 동적 정규화 메커니즘이 프루닝 과정에서의 신속한 수렴과 안정적인 최적화를 가능하게 하였다.