[논문 리뷰] ResNet Can Be Pruned 60x: Introducing Network Purification and Unused Path Removal (P-RM) after Weight Pruning

Xiaolong Ma, Geng Yuan외 4명|arXiv (Cornell University)|2019. 04. 30.

Advanced Neural Network Applications참고 문헌 14인용 수 6

한 줄 요약

이 논문은 ADMM 기반의 구조적 가중치 프루닝 이후 잔여 중복 가중치와 사용되지 않는 경로를 탐지하고 제거함으로써 정확도 손실을 최소화하면서 ResNet-18에서 최대 60×의 프루닝을 달성하는 후처리 프레임워크 P-RM (Network Purification and Unused Path Removal)를 소개한다. 이 방법은 재학습 없이도 압축을 향상시키며, ADMM 해법의 비최적성 문제를 해결하기 위해 새로운 알고리즘을 활용한다.

ABSTRACT

The state-of-art DNN structures involve high computation and great demand for memory storage which pose intensive challenge on DNN framework resources. To mitigate the challenges, weight pruning techniques has been studied. However, high accuracy solution for extreme structured pruning that combines different types of structured sparsity still waiting for unraveling due to the extremely reduced weights in DNN networks. In this paper, we propose a DNN framework which combines two different types of structured weight pruning (filter and column prune) by incorporating alternating direction method of multipliers (ADMM) algorithm for better prune performance. We are the first to find non-optimality of ADMM process and unused weights in a structured pruned model, and further design an optimization framework which contains the first proposed Network Purification and Unused Path Removal algorithms which are dedicated to post-processing an structured pruned model after ADMM steps. Some high lights shows we achieve 232x compression on LeNet-5, 60x compression on ResNet-18 CIFAR-10 and over 5x compression on AlexNet. We share our models at anonymous link http://bit.ly/2VJ5ktv.

연구 동기 및 목표

• 딥 신경망의 극한의 구조적 가중치 프루닝에서 발생하는 정확도 저하 문제를 해결하기 위해.
• DNN 손실 함수의 비볼록성으로 인해 발생하는 ADMM 기반의 구조적 프루닝에서의 비최적성 문제를 식별하고 해결하기 위해.
• ADMM 최적화 이후에도 남아 있는 사용되지 않는 경로와 중복 가중치를 식별하고 제거하기 위해.
• 재학습 없이도 정확도를 유지하면서 압축률을 극대화하는 후처리 프레임워크를 개발하기 위해.

제안 방법

• ADMM 기반의 구조적 프루닝 이후 적용되는 이중 단계 후처리 프레임워크인 네트워크 정제와 사용되지 않는 경로 제거(P-RM)를 제안한다.
• 네트워크 출력에 기여도가 낮은 저에너지 필터 및 채널 가중치를 탐지하고 제거하기 위해 프로베니우스 노름 임계치(Th₁–Th₄)를 사용한다.
• 전체 필터와 그에 해당하는 채널을 동시에 제거하는 이중 프루닝 전략을 적용하여 활성화 노름이 임계치 이하일 경우에 해당한다.
• 필터와 연결된 채널을 동시에 제거하여 사용되지 않는 경로를 제거하는 조합적 프루닝 메커니즘을 구현한다.
• 재학습 없이도 구조적 및 활성화 기반 기준에 기반해 중복 가중치를 탐지하고 제거하는 정제 단계를 도입한다.
• 초기 구조적 프루닝(필터 및 컬럼 프루닝)에 ADMM를 활용하고, 이후 P-RM을 적용하여 더 최적화된 모델을 도출한다.

실험 결과

연구 질문

• RQ1 DNN에서 ADMM 기반의 구조적 프루닝의 비최적성은 체계적으로 탐지되고 완화될 수 있는가?
• RQ2 ADMM 기반의 구조적 프루닝을 거친 모델에 사용되지 않는 경로와 중복 가중치가 남아 있는가, 만약 그렇다면 이를 식별하고 제거할 수 있는가?
• RQ3 P-RM과 같은 후처리 프레임워크는 정확도 저하 없이 압축률을 크게 향상시킬 수 있는가?
• RQ4 구조적 프루닝과 P-RM를 사용할 때 ResNet-18의 CIFAR-10에서 달성 가능한 최대 압축 비율은 얼마인가?
• RQ5 다양한 아키텍처와 데이터셋에서 P-RM는 기존 방법들과 비교해 압축-정확도 트레이드오프 측면에서 어떻게 성능을 내는가?

주요 결과

• LeNet-5는 정확도 손실이 0.7%에 불과한 232×의 압축을 달성했으며, 정확도 손실이 거의 없는 상태에서 최대 88×의 압축을 기록했다.
• CIFAR-10에서 ResNet-18는 정확도 저하가 눈에 띄지 않을 정도로 60×의 압축을 달성했고, 0.9%의 정확도 손실이 있는 52×의 압축도 가능했다.
• CIFAR-10에서 VGG-16는 정확도 손실 1%로 50×의 압축을 기록했으며, 정확도 손실이 없는 상태에서 44×의 압축을 달성했다.
• ImageNet에서 AlexNet은 압축 비율이 4.69×에서 5.13×로 향상되었고, ResNet-18는 3.02×에서 3.33×로 증가했으며, 정확도 저하가 최소한이었다.
• P-RM 프레임워크는 중복 가중치와 사용되지 않는 경로를 성공적으로 식별하고 제거하여, ADMM만으로는 달성할 수 없는 압축률 향상을 크게 이룩했다.