[논문 리뷰] Towards Compact CNNs via Collaborative Compression

Yuchao Li, Shaohui Lin외 8명|arXiv (Cornell University)|2021. 05. 24.

Advanced Neural Network Applications참고 문헌 43인용 수 7

한 줄 요약

이 논문은 고압축 상황에서 정확도 손실을 최소화하면서 채널 프루닝과 텐서 분해를 공동으로 최적화하는 후학습 프레임워크인 협업 압축(Collaborative Compression, CC)을 제안한다. 글로벌 압축률 최적화와 다단계 히우리스틱 압축을 통해 ResNet-50에서 52.9% FLOPs 감소와 48.4% 파라미터 감소를 달성하면서 ImageNet-1K에서 Top-1 정확도 손실은 단 0.56%에 그친다.

ABSTRACT

Channel pruning and tensor decomposition have received extensive attention in convolutional neural network compression. However, these two techniques are traditionally deployed in an isolated manner, leading to significant accuracy drop when pursuing high compression rates. In this paper, we propose a Collaborative Compression (CC) scheme, which joints channel pruning and tensor decomposition to compress CNN models by simultaneously learning the model sparsity and low-rankness. Specifically, we first investigate the compression sensitivity of each layer in the network, and then propose a Global Compression Rate Optimization that transforms the decision problem of compression rate into an optimization problem. After that, we propose multi-step heuristic compression to remove redundant compression units step-by-step, which fully considers the effect of the remaining compression space (i.e., unremoved compression units). Our method demonstrates superior performance gains over previous ones on various datasets and backbone architectures. For example, we achieve 52.9% FLOPs reduction by removing 48.4% parameters on ResNet-50 with only a Top-1 accuracy drop of 0.56% on ImageNet 2012.

연구 동기 및 목표

• 고압축 환경에서 개별적으로 적용되는 채널 프루닝과 텐서 분해의 성능이 열등한 문제를 해결한다.
• 제어 가능한 압축률을 갖추지 못한 기존의 훈련 인지 방법의 한계를 극복한다.
• 재학습 없이도 희소성과 저질서성을 동시에 활용하는 후학습 압축 프레임워크를 개발한다.
• 모델 정확도를 유지하면서 자동으로 층별로 압축률을 제어할 수 있도록 한다.
• 제거된 유닛의 동적 영향과 남은 압축 공간을 고려하여 압축의 신뢰성과 성능을 향상시킨다.

제안 방법

• 압축 감도를 지수 함수로 모델링하고 최적의 층별 압축률을 구하기 위해 글로벌 압축률 최적화(GCRO)를 제안한다.
• 정보 손실와 압축률 간의 지수적 피팅의 일阶 도함수로 압축 감도를 수식화한다.
• 이전 제거 영향과 남은 압축 공간을 고려하여 덜 중요한 유닛을 반복적으로 제거하는 다단계 히우리스틱 압축(MSHC)을 구현한다.
• 채널 크기와 특이값 크기를 통합한 유일한 중요도 지표를 사용하여 유닛 제거를 안내한다.
• 최적의 압축률을 도출한 후 각 층별로 독립적으로 압축을 적용하여, 압축률과 전략을 동시에 최적화하지 않는다.
• 사전 학습된 모델을 활용하여 재학습 없이도 빠르고 실용적인 후학습 압축을 가능하게 한다.

Figure 1: The framework of our method. We first compute the group values between information loss and compression rate in each layer and then obtain the compression rate of each layer by solving a global compression rate optimization problem based on them. After that, we compress each layer independ

실험 결과

연구 질문

• RQ1 채널 프루닝과 텐서 분해를 공동으로 최적화하는 것이 고압축 환경에서 순차적 또는 개별적 압축 방법보다 우수한 성능을 내는가?
• RQ2 하이퍼파ram터 조정 없이도 층별로 자동으로 신뢰성 있게 압축률을 결정할 수 있는가?
• RQ3 압축 순서(프루닝을 먼저 하느냐 분해를 먼저 하느냐)가 최종 모델 성능에 어떤 영향을 미치는가?
• RQ4 제거된 유닛의 동적 영향과 남은 압축 공간을 고려함으로써 압축 신뢰성이 어떻게 향상되는가?
• RQ5 협업 압축이 FLOPs와 파라미터를 줄이면서도 모델 정확도를 얼마나 잘 유지하는가?

주요 결과

• CC는 ResNet-50에서 ImageNet-2012에서 52.9% FLOPs 감소와 48.4% 파라미터 감소를 달성하면서 Top-1 정확도 손실은 단 0.56%에 그친다.
• VGG-16에서는 배치 크기가 32일 때 CPU에서 1.54배의 속도 향상을, 동일 조건에서 ResNet-50에서는 1.36배의 속도 향상을 달성한다.
• 다단계 히우리스틱 압축(MSHC) 구성 요소가 글로벌 압축률 최적화(GCRO)보다 더 큰 성능 기여를 하며, 전략 선택이 압축률 선택보다 더 중요함을 시사한다.
• 압축 순서(프루닝을 먼저 하느냐 분해를 먼저 하느냐)는 최종 정확도에 미미한 영향을 미치며, 네트워크 구조가 가중치 초기화 순서보다 더 중요하다는 것을 시사한다.
• ResNet-50에서 각 블록의 첫 번째 합성곱 층은 희소성에 유리하고, 마지막 층은 저질서성에 유리함을 보이며, 이는 층별로 다른 부여 패턴을 가짐을 시사한다.
• CC는 여러 아키텍처(VGG, GoogleNet, ResNet, DenseNet)와 데이터셋(CIFAR-10, ImageNet-2012)에서 최신 기술 대비 더 뛰어난 압축 효율성과 정확도 유지 성능을 확보한다.

(a) Resnet56: B2-U8-C2