[논문 리뷰] Structured Pruning is All You Need for Pruning CNNs at Initialization

Yaohui Cai, Weizhe Hua외 4명|arXiv (Cornell University)|2022. 03. 04.

Advanced Neural Network Applications인용 수 13

한 줄 요약

이 논문은 초기화 시점에서 CNN을 구조적으로 프루닝하는 PreCrop을 제안한다. 이는 새로운 기대 기반 대체 지표(SynExp)를 사용해 계층별 채널 밀도를 최적화함으로써, 하드웨어 우수한 구조적 희소성과 함께 최신 기술 수준의 정확도를 달성한다. PreCrop는 ImageNet에서 SynFlow과 같은 세밀한 프루닝 기반 PAI 방법보다 최대 2.7% 높은 성능을 보이며, 초기화 이전에 네트워크 폭을 재구성하는 파rameter-free 기법인 PreConfig를 통해 정확도 향상을 가능하게 한다.

ABSTRACT

Pruning is a popular technique for reducing the model size and computational cost of convolutional neural networks (CNNs). However, a slow retraining or fine-tuning procedure is often required to recover the accuracy loss caused by pruning. Recently, a new research direction on weight pruning, pruning-at-initialization (PAI), is proposed to directly prune CNNs before training so that fine-tuning or retraining can be avoided. While PAI has shown promising results in reducing the model size, existing approaches rely on fine-grained weight pruning which requires unstructured sparse matrix computation, making it difficult to achieve real speedup in practice unless the sparsity is very high. This work is the first to show that fine-grained weight pruning is in fact not necessary for PAI. Instead, the layerwise compression ratio is the main critical factor to determine the accuracy of a CNN model pruned at initialization. Based on this key observation, we propose PreCropping, a structured hardware-efficient model compression scheme. PreCropping directly compresses the model at the channel level following the layerwise compression ratio. Compared to weight pruning, the proposed scheme is regular and dense in both storage and computation without sacrificing accuracy. In addition, since PreCropping compresses CNNs at initialization, the computational and memory costs of CNNs are reduced for both training and inference on commodity hardware. We empirically demonstrate our approaches on several modern CNN architectures, including ResNet, ShuffleNet, and MobileNet for both CIFAR-10 and ImageNet.

연구 동기 및 목표

• 기존 초기화 시점 프루닝(PAI) 방법이 비구조적이고 희소한 계산에 의존함으로써 표준 하드웨어에서 벽계속도 향상이 어려운 점을 해결하기 위해.
• PAI에서 모델 정확도가 프루닝의 세밀함이 아니라 계층별 파라미터 밀도에만 의존함을 규명함으로써, 정확도 손실 없이도 구조적 프루닝이 가능함을 입증하기 위해.
• FLOPs 또는 파라미터 제약 조건 하에서 최적의 계층별 밀도를 결정하기 위해 새로운 대체 지표인 '합성 시냅스 기대값(SynExp)'을 사용한 볼록 최적화 프레임워크를 개발하기 위해.
• 하드웨어 효율성을 위해 채널 차원에서 프루닝하는 구조적 PAI 방법인 PreCrop과, 가중치 초기화 이전에 네트워크 폭을 재구성하는 zero-cost 기법인 PreConfig를 제안하기 위해.
• 거시적 구조적 프루닝이 세밀한 비구조적 프루닝 성능을 따라잡거나 초월할 수 있으며, 상용 하드웨어에서 실질적인 벽계속도 향상과 모델 압축을 가능하게 함을 입증하기 위해.

제안 방법

• 모델 정확도의 대체 지표로 '합성 시냅스 기대값(SynExp)'을 도입하며, 이는 계층 내 모든 가중치의 중요도 점수의 기대합으로 정의되며, 이전 방법에서 사용한 합을 대체한다.
• 모델 크기 또는 FLOPs 제약 조건 하에서 SynExp를 최소화하는 볼록 최적화 문제로 PAI를 공식화함으로써, 효율적이고 최적의 계층별 밀도 선택이 가능해진다.
• SynExp 불변성 정리(SynExp Invariance Theorem)를 증명함: 동일한 계층별 밀도를 가진다면 프루닝의 세밀함에 관계없이 모델 정확도가 동일하므로, 정확도 손실 없이도 구조적 프루닝이 가능함을 정당화한다.
• 최적화된 계층별 밀도에 기반해 전체 채널을 프루닝하는 PreCrop을 설계함으로써, 조밀한 행렬 연산과의 호환성을 확보한다.
• 같은 SynExp 최적화된 밀도를 사용하여 초기화 이전에 채널 너비를 조정하는 zero-cost 재구성 기법인 PreConfig를 도입한다.
• ResNet, MobileNetV2, EfficientNet을 대상으로 CIFAR-10과 ImageNet에서 PreCrop와 PreConfig를 구현하고 평가하였으며, 공정한 비교를 위해 동일한 학습 초모수를 사용하였다.

실험 결과

연구 질문

• RQ1 초기화 시점에 프루닝된 CNN의 정확도는 프루닝의 세밀함에 관계없이 계층별로 남은 파라미터의 비율에만 의존하는가?
• RQ2 새로운 기대 기반 대체 지표(SynExp)의 볼록 최적화가 기존 PAI 방법보다 정확도를 높이고 구조적 희소성을 제공할 수 있는가?
• RQ3 채널 차원에서의 구조적 프루닝이 세밀한 비구조적 프루닝과 비교해 유사하거나 뛰어난 정확도를 달성할 수 있으며, 상용 하드웨어에서 실질적인 벽계속도 향상을 이끌 수 있는가?
• RQ4 초기화 이전에 네트워크 폭을 재구성하는 기법(PreConfig)이 원본 아키텍처보다 더 적은 파라미터와 FLOPs로 정확도를 향상시킬 수 있는가?
• RQ5 제안된 SynExp 기반 최적화 프레임워크가 SynFlow과 같은 최신 기술 수준의 PAI 방법보다 모델 크기, FLOPs, 정확도 간의 더 우수한 트레이드오프를 가능하게 하는가?

주요 결과

• ImageNet에서 원래 FLOPs의 80%를 유지하면서 MobileNetV2에 대해 SynFlow보다 2.7% 높은 정확도를 달성한다.
• EfficientNetB0의 경우, 기준 대비 파라미터를 80%로 줄였고 동일한 FLOPs를 유지하면서 SynFlow보다 정확도를 0.3% 향상시켰다.
• ResNet34에서 유사한 FLOPs 및 파라미터 수준에서 SynFlow보다 0.6% 낮은 정확도를 기록했지만, 강력한 경쟁 성능을 보였다.
• MobileNetV2와 EfficientNetB0에서 PreConfig는 각각 20%, 19% 적은 파라미터로 정확도를 0.3% 향상시켰으며, 기준과 동일한 FLOPs를 유지했다.
• PreCrop-FLOPs는 FLOPs 감소 비율이 클수록 SynFlow보다 크게 앞서며, 계산 제약 조건 하에서 뛰어난 효율성을 보였다.
• Empirically 검증된 SynExp 불변성 정리: 동일한 계층별 밀도에서는 프루닝의 세밀함에 관계없이 유사한 정확도를 기록함으로써, 정확도 손실 없이도 구조적 프루닝이 가능함을 입증했다.