[논문 리뷰] Pruning at a Glance: Global Neural Pruning for Model Compression

Abdullah Salama, Oleksiy Ostapenko외 2명|arXiv (Cornell University)|2019. 11. 30.

Advanced Neural Network Applications참고 문헌 22인용 수 7

한 줄 요약

이 논문은 모든 레이어에 걸쳐 전역 L1-노름 임계값을 기반으로 전체 필터와 뉴런을 제거하여 딥 네ural 네트워크를 압축하는 전역적이고 구조적인 신경망 프루닝 방법을 제안한다. 이 방법은 정확도 손실 없이 높은 압축률을 달성하며, VGG-16, ResNet-56/110(CIFAR-10), AlexNet, ResNet-34/50(ImageNet)에서 검증되었다. 특히, 기준 모델보다 약간 높은 정확도를 기록한 30% 압축된 ResNet-50도 성공적으로 구현하였다.

ABSTRACT

Deep Learning models have become the dominant approach in several areas due to their high performance. Unfortunately, the size and hence computational requirements of operating such models can be considerably high. Therefore, this constitutes a limitation for deployment on memory and battery constrained devices such as mobile phones or embedded systems. To address these limitations, we propose a novel and simple pruning method that compresses neural networks by removing entire filters and neurons according to a global threshold across the network without any pre-calculation of layer sensitivity. The resulting model is compact, non-sparse, with the same accuracy as the non-compressed model, and most importantly requires no special infrastructure for deployment. We prove the viability of our method by producing highly compressed models, namely VGG-16, ResNet-56, and ResNet-110 respectively on CIFAR10 without losing any performance compared to the baseline, as well as ResNet-34 and ResNet-50 on ImageNet without a significant loss of accuracy. We also provide a well-retrained 30% compressed ResNet-50 that slightly surpasses the base model accuracy. Additionally, compressing more than 56% and 97% of AlexNet and LeNet-5 respectively. Interestingly, the resulted models' pruning patterns are highly similar to the other methods using layer sensitivity pre-calculation step. Our method does not only exhibit good performance but what is more also easy to implement.

연구 동기 및 목표

• 모바일 기기 및 임베디드 시스템과 같은 메모리 및 배터리 제약이 있는 환경에 대규모 딥 러닝 모델을 구현하는 데 도전한다.
• 기존의 프루닝 방법이 레이어별 감도 분석을 필요로 하거나 비정형 스파arsity에 의존하여 전용 하드웨어가 필요로 하는 한계를 극복한다.
• 정확도를 희생시키지 않고도 압축되고 비스퍼스(비희소)인 모델을 생성할 수 있는 단순하고 효율적이며 구현 가능한 프루닝 방법을 개발한다.
• 다양한 아키텍처(예: VGG, ResNet, AlexNet)에서 높은 압축률을 달성하면서도 재학습 후 성능을 유지하거나 향상시킬 수 있도록 한다.

제안 방법

• 모든 레이어의 필터에 대해 L1-노름을 계산하여 필터의 중요도를 평가한다.
• 각 필터의 L1-노름을 커널 가중치 수로 나누어 크기가 다른 레이어 간의 공정한 비교를 보장한다.
• 모든 정규화된 필터 노름을 종합하여 전역 분포를 생성하고, 이를 바탕으로 순위를 매겨 전역 프루닝 임계값을 결정한다.
• 단일 전역 임계값을 적용하여 모든 레이어에서 중요도가 낮은 필터(및 관련 뉴런)를 동시에 제거한다.
• 반복적 프루닝과 재학습을 통해 네트워크가 고압축 상태에서도 정확도를 유지할 수 있도록 적응하도록 한다.
• 전체 필터와 뉴런을 제거하는 구조적 프루닝을 통해 비스퍼스이고 전용 하드웨어가 필요 없는 구현 가능한 모델을 확보한다.

실험 결과

연구 질문

• RQ1 전역적이고 레이어에 종속되지 않는 L1-노름 순위 기반 프루닝 전략이 정확도 저하 없이 높은 압축률을 달성할 수 있는가?
• RQ2 레이어 감도를 사전 계산할 필요 없이 프루닝을 수행함으로써 기존 방법 대비 효율성과 유연성이 향상되는가?
• RQ3 모든 레이어에서 동시에 구조적 프루닝을 수행할 경우, 레이어별 또는 비정형 프루닝 대비 더 나은 압축률과 정확도의 상호보완적 성능을 낼 수 있는가?
• RQ4 특히 고압축 비율에서 재학습을 통해 전역 프루닝이 모델 성능을 얼마나 잘 유지하거나 향상시킬 수 있는가?
• RQ5 전역 필터 중요도 점수는 레이어별 감도 지표에 비해 프루닝 패턴의 정확도와 모델의 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 AlexNet에서 56%의 파라미터 압축률을 달성했고, LeNet-5에서는 97% 이상의 압축률을 기록하면서도 정확도 손실이 크지 않았다.
• CIFAR-10에서 VGG-16, ResNet-56, ResNet-110는 기준 모델과 비교해 정확도 저하 없이 압축되었다.
• ImageNet에서 30%로 압축된 ResNet-50는 광범위하게 재학습되었고, 원본 모델보다 약간 높은 정확도를 기록했다.
• 이 방법은 정확도를 유지하면서도 전용 하드웨어나 소프트웨어 없이도 구현 가능한 매우 압축된 비스퍼스 모델을 생성했다.
• 프루닝 패턴은 감도 기반 방법과 매우 유사했지만, 훨씬 높은 프루닝 비율을 기록했다.
• 약한 뉴런을 다수 제거했음에도 불구하고, 남아 있는 뉴런의 활성도가 높아져 고압축 비율에서도 정확도 향상에 기여했다.