[논문 리뷰] Approximated Oracle Filter Pruning for Destructive CNN Width Optimization

Xiaohan Ding, Guiguang Ding외 3명|arXiv (Cornell University)|2019. 05. 12.

Advanced Neural Network Applications인용 수 46

한 줄 요약

AOFP는 다중 경로 이진 탐색 기반 가지치기 프레임워크로, 다음 계층의 출력을 통해 로컬하게 필터 중요도를 추정하여 Oracle Pruning을 근사하고, 지연 시간을 줄이면서 최소한의 정확도 손실로 여러 계층에서 동시에 가지치기를 가능하게 하며, CIFAR-10 및 ImageNet에서 시연됩니다.

ABSTRACT

It is not easy to design and run Convolutional Neural Networks (CNNs) due to: 1) finding the optimal number of filters (i.e., the width) at each layer is tricky, given an architecture; and 2) the computational intensity of CNNs impedes the deployment on computationally limited devices. Oracle Pruning is designed to remove the unimportant filters from a well-trained CNN, which estimates the filters' importance by ablating them in turn and evaluating the model, thus delivers high accuracy but suffers from intolerable time complexity, and requires a given resulting width but cannot automatically find it. To address these problems, we propose Approximated Oracle Filter Pruning (AOFP), which keeps searching for the least important filters in a binary search manner, makes pruning attempts by masking out filters randomly, accumulates the resulting errors, and finetunes the model via a multi-path framework. As AOFP enables simultaneous pruning on multiple layers, we can prune an existing very deep CNN with acceptable time cost, negligible accuracy drop, and no heuristic knowledge, or re-design a model which exerts higher accuracy and faster inference.

연구 동기 및 목표

• CNN에서 정확도와 효율성의 균형을 맞추기 위해 계층 폭(필터 수)을 선택하는 문제를 다룬다.
• 허용 가능한 시간 비용으로 매개변수와 FLOPs를 크게 줄이면서 정확도를 보존하는 가지치기 방법을 개발한다.
• 무거운 휴리스틱 가이드 없이 다중 계층에 걸친 동시 가지치기를 가능하게 한다.
• Destructive CNN Re-design 프레임워크를 도입하여 더 나은 정확도와 더 빠른 추론을 위해 계층 폭을 최적화한다.

제안 방법

• 최종 출력이 아닌 다음 계층의 제거 영향으로 필터의 중요도를 정의한다.
• Damage Isolation을 사용하여 다음 계층의 출력을 통해 각 필터의 영향을 정량화하고, 로컬 병렬 점수를 가능하게 한다.
• 다경로 학습-타임 가지치기를 도입하여 계층 간 점수화와 미세조정을 병렬화한다.
• 가지치기 간격을 제어하는 정제 임계값으로 차례로 가장 덜 중요한 필터를 식별하기 위해 이진 탐색 스타일 절차를 적용한다.
• 베이스 마스크와 점수 마스크를 이용해 파라미터를 prune하는 동안 미세조정을 진행하고, 계층 전반에 걸친 점진적 글로벌 가지치기를 가능하게 한다.

실험 결과

연구 질문

• RQ1 AOFP가 정확도를 유지하면서도 상당히 낮은 시간 비용으로 Oracle Pruning을 근사할 수 있는가?
• RQ2 동시 다계층 가지치기가 악영향 없는 더 효율적인 CNN 압축을 가능하게 하는가?
• RQ3 Damage Isolation 기반 중요도 추정의 효과는 전통적 휴리스틱이나 전체 재학습 기반 가지치기와 비교했을 때 어떠한가?
• RQ4 AOFP가 수동 휴리스틱 튜닝 없이 계층별 폭과 가지치기 정밀도를 자동으로 결정할 수 있는가?

주요 결과

모델	Top-1	Top-5	FLOPs	FLOPs 감소 %
Alex base	55.71	79.45	838M	-
Alex AOFP-B1	56.54	79.95	578M	30.98
Alex AOFP-B2	56.17	79.53	492M	41.33
Res50 base	75.34	92.56	3.85G	-
Res50 AOFP-C1	75.63	92.69	2.58G	32.88
Res50 ThiNet-70	72.04	90.67	2.44G	36.75
Res50 NISP	0.89	-	-	44.01
Res50 Chan-Pr	-	90.80	-	50.00
Res50 SPP	-	90.40	-	50.00
Res50 Autopr	74.76	92.15	-	51.21
Res50 ThiNet-50	71.01	90.02	1.70G	55.76
Res50 C-SGD-50	74.54	92.09	1.70G	55.76
Res50 AOFP-C2	75.11	92.28	1.66G	56.73
Res101 base	76.63	93.29	7.57G	-
Res101 AOFP-D1	76.88	93.49	5.29G	30.11
Res101 ISTA	75.27	-	4.47G	40.95
Res101 AOFP-D2	76.40	93.07	3.77G	50.19
Res152 base	77.37	93.52	11.28G	-
Res152 AOFP-E1	77.47	93.76	6.12G	45.72
Res152 AOFP-E2	77.00	93.49	4.13G	63.36
Res152 AOFP-E3	76.40	93.02	2.85G	74.69

• AOFP는 전체 Oracle Pruning에 비해 점수 산정 비용이 크게 감소하면서도 거의 Oracle Pruning 수준의 품질을 달성한다.
• AOFP는 VGG, AlexNet, ResNet 계열에서 상당한 FLOPs 및 매개변수 감소를 제공하되 정확도 손실은 최소화되거나 경우에 따라 정확도 상승까지 나타낸다.
• Damage Isolation과 다경로 학습은 계층 간의 안전하고 병렬 가지치를 가능하게 하며 가지치기 도중의 오차 전파를 완화한다.
• AOFP는 가지치기에 적합한 계층을 자동으로 식별하고 하이퍼파라미터의 수작업 조정 없이 가지치기 정밀도를 조정한다.
• Destructive CNN Re-design, 포스트 가지치 튜닝 패러다임은 재최적화된 계층 폭으로 정확도를 더 향상시킬 수 있다.