[논문 리뷰] Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks

Zhonghui You, Kun Yan외 3명|arXiv (Cornell University)|2019. 09. 18.

Advanced Neural Network Applications인용 수 111

한 줄 요약

이 논문은 Gate Decorator를 글로벌 필터 프루닝과 함께 도입하고, Tick-Tock 프루닝 및 Group Pruning으로 CNN의 아키텍처 변화 없이 가속화하며, 다수의 데이터셋에서 최첨단 프루닝 비율과 정확도 향상을 달성한다.

ABSTRACT

Filter pruning is one of the most effective ways to accelerate and compress convolutional neural networks (CNNs). In this work, we propose a global filter pruning algorithm called Gate Decorator, which transforms a vanilla CNN module by multiplying its output by the channel-wise scaling factors, i.e. gate. When the scaling factor is set to zero, it is equivalent to removing the corresponding filter. We use Taylor expansion to estimate the change in the loss function caused by setting the scaling factor to zero and use the estimation for the global filter importance ranking. Then we prune the network by removing those unimportant filters. After pruning, we merge all the scaling factors into its original module, so no special operations or structures are introduced. Moreover, we propose an iterative pruning framework called Tick-Tock to improve pruning accuracy. The extensive experiments demonstrate the effectiveness of our approaches. For example, we achieve the state-of-the-art pruning ratio on ResNet-56 by reducing 70% FLOPs without noticeable loss in accuracy. For ResNet-50 on ImageNet, our pruned model with 40% FLOPs reduction outperforms the baseline model by 0.31% in top-1 accuracy. Various datasets are used, including CIFAR-10, CIFAR-100, CUB-200, ImageNet ILSVRC-12 and PASCAL VOC 2011. Code is available at github.com/youzhonghui/gate-decorator-pruning

연구 동기 및 목표

• resource-constrained 디바이스에서 CNN의 효율적 배치를 촉진하기 위해 계산량과 저장소를 줄인다.
• 프루닝 후 네트워크 설계 변경 없이 글로벌 필터 중요도 순위를 개발한다.
• 프루닝 정확도를 개선하기 위한 반복적 프루닝 프레임워크(Tick-Tock)를 제안한다.
• Shortcut 연결이 있는 네트워크에서 프루닝 제약을 Group Pruning으로 처리한다.
• 분류 및 분할 작업 전반에 폭넓은 적용 가능성을 보인다.

제안 방법

• Gate Decorator(GD)를 도입하여 Taylor 확장 기반 점수 Θ(φ_i) 및 게이트 스케일링 계수 φ를 통해 글로벌 필터 중요도를 추정한다.
• BN 채널과 정렬되도록 Gated Batch Normalization(GBN)을 정의하여 Batch Normalization에 Gate Decorator를 적용한다.
• Tick-Tock 프루닝 프레임워크를 사용한다: Tick 단계에서 업데이트 가능한 매개변수를 제한한 데이터 하위집합에서 Θ를 계산; Tock 단계에서 φ에 희소 제약을 적용하고 미세 조정한다.
• Pure 단축 연결을 통해 연결된 BN 블록을 그룹화하고 중요도 점수를 합산하여 프루닝을 관리하는 Group Pruning을 도입한다.
• 프루닝 후 스케일링 계정을 병합하여 추가 아키텍처 변경 없이 프루닝 파이프라인을 제공한다.
• Gate Decorator를 관련 GFIR 방법(Slim, PCNN)과 비교하고, Taylor 기반 추정, 희소성, 정규화 고려사항의 차이점을 논의한다.

실험 결과

연구 질문

• RQ1 전체 네트워크를 재훈련하지 않고도 글로벌 필터 중요도 순위를 신뢰성 있게 추정할 수 있는가?
• RQ2 Gate Decorator가 이전 GFIR 방법들에 비해 더 높은 프루닝 비율과 더 적은 정확도 손실을 가능하게 하는가?
• RQ3 Tick-Tock 반복 프루닝 프레임워크가 원샷 프루닝보다 프루닝 정확도를 향상시키는가?
• RQ4 Shortcut 연결이 있는 네트워크에서 정합성 문제 없이 프루닝을 수행하려면 어떻게 해야 하는가?
• RQ5 Gate Decorator 접근법이 이미지 분류를 넘어 다양한 비전 작업에 널리 적용 가능한가?

주요 결과

Method	Global	P. Top-1	[Top-1] ↓	P. Top-5	[Top-5] ↓	FLOPs ↓ %	Param ↓ %	Accuracy ↓ %
ThiNet-70	✗	72.04	0.84	90.67	0.47	36.75	33.72	-0.84
SFP	✗	74.61	1.54	92.06	0.81	41.80	-	-0.81
GBN-60	✓	76.19	-0.31	92.83	-0.16	40.54	31.83	-0.16
NISP	✓	-	0.89	-	-	44.01	43.82	-0.89
FPGM	✗	74.83	1.32	92.32	0.55	53.50	-	-0.55
ThiNet-50	✗	71.01	1.87	90.02	1.12	55.76	51.56	-1.12
DCP	✗	74.95	1.06	92.32	0.61	55.76	51.45	-0.61
GDP	✓	71.89	3.24	90.71	1.59	51.30	-	-1.59
GBN-50	✓	75.18	0.67	92.41	0.26	55.06	53.40	-0.26

• ResNet-56에서 CIFAR-10에 대해 70% FLOPs 감소로 최첨단 프루닝 달성, 정확도 손실은 미미하다.
• ImageNet에서 40% FLOPs 감소를 보인 프루닝된 ResNet-50은 기준치보다 상위 1% 정확도에서 0.31% 향상을 보였다.
• ImageNet의 GBN-60 및 GBN-50은 추론 속도를 개선하며(예: 40% FLOPs 프루닝 시 Titan X Pascal에서 1127 이미지/초 vs 864 이미지/초).
• PASCAL VOC 2011의 FCN 프루닝은 (27% FLOPs, 73% 매개변수 감소)에서도 정확도 손실 없이 mIoU를 유지했다.
• Tick-Tock 프루닝은 One-Shot 및 Tick-Only보다 일관되게 더 높은 최종 정확도와 같은 FLOP 목표에서 더 우수한 성능을 보이며, 반복적 프루닝과 희소 제약의 이점을 입증한다.