[논문 리뷰] EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning

Bailin Li, Bowen Wu외 3명|arXiv (Cornell University)|2020. 07. 06.

Advanced Neural Network Applications참고 문헌 30인용 수 13

한 줄 요약

EagleEye는 다양한 아키텍처(MobileNetV1/V2, ResNet-50)와 데이터셋(CIFAR-10, ImageNet)에서 효율적인 신경망 프루닝을 위한 빠르고 적응형 배치 정규화(adaptive-BN) 기반의 서브넷 평가 방법을 제안한다. 이는 평가된 정확도와 최종 튜닝된 정확도 간 상관관계를 크게 향상시키며, 최대 0.937의 피어슨 상관관계를 달성하여 기존의 순수한 평가 방법을 뛰어넘고, L1 및 L2-노름 기반 프루닝에 일반화된다.

ABSTRACT

Finding out the computational redundant part of a trained Deep Neural Network (DNN) is the key question that pruning algorithms target on. Many algorithms try to predict model performance of the pruned sub-nets by introducing various evaluation methods. But they are either inaccurate or very complicated for general application. In this work, we present a pruning method called EagleEye, in which a simple yet efficient evaluation component based on adaptive batch normalization is applied to unveil a strong correlation between different pruned DNN structures and their final settled accuracy. This strong correlation allows us to fast spot the pruned candidates with highest potential accuracy without actually fine-tuning them. This module is also general to plug-in and improve some existing pruning algorithms. EagleEye achieves better pruning performance than all of the studied pruning algorithms in our experiments. Concretely, to prune MobileNet V1 and ResNet-50, EagleEye outperforms all compared methods by up to 3.8%. Even in the more challenging experiments of pruning the compact model of MobileNet V1, EagleEye achieves the highest accuracy of 70.9% with an overall 50% operations (FLOPs) pruned. All accuracy results are Top-1 ImageNet classification accuracy. Source code and models are accessible to open-source community https://github.com/anonymous47823493/EagleEye .

연구 동기 및 목표

• 정확도 추정을 위해 전체 재학습이 필요한 기존 프루닝 방법의 비효율성을 해결한다.
• 빠른 서브넷 평가와 실제 최종 튜닝된 정확도 간 상관관계를 향상시켜 신뢰할 수 있는 프루닝 후보 순위 매기기를 가능하게 한다.
• 적응형-BN 평가 방법이 다양한 아키텍처, 데이터셋, 프루닝 기준(L1 및 L2 노름)에 걸쳐 일반화되는지를 입증한다.
• 비용이 많이 드는 전체 재학습을 대체할 수 있는 경량이면서 정확한 평가 메커니즘을 도입하여 더 빠르고 효율적인 신경망 프루닝을 가능하게 한다.

제안 방법

• 프루닝된 서브넷에 맞게 조정된 배치 정규화 통계를 사용하여 정확도 추정치를 계산하는 적응형-BN 기반 평가 방법을 도입한다.
• 평가 중 현재 서브넷 구조에 맞게 재조정된 통계를 다시 계산하는 적응형-BN 레이어로 표준 BN 레이어를 대체한다.
• 적응형-BN 출력을 사용하여 전체 학습 없이도 프루닝된 서브넷의 최종 튜닝된 정확도를 예측한다.
• 다양한 아키텍처(MobileNetV1/V2, ResNet-50)와 데이터셋(CIFAR-10, ImageNet)을 대상으로 성능의 견고성을 테스트한다.
• 프루닝 후보에 대해 피어슨, 스피어만, 켄달 상관관계 지표를 사용하여 적응형-BN 평가와 표준(vanilla) BN 평가를 비교한다.
• FLOPs 제약 조건과 프루닝 전략(L1 및 L2 노름 기반 필터 프루닝)을 다양하게 설정한 환경에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 적응형-BN 기반 평가가 서브넷 프루닝에서 순수한 평가보다 최종 튜닝된 정확도와 더 높은 상관관계를 달성할 수 있는가?
• RQ2 적응형-BN 평가 방법이 다양한 신경망 아키텍처(예: MobileNetV1, ResNet-50)에 걸쳐 일반화되는가?
• RQ3 FLOPs 제약 조건과 프루닝 비율이 다양할 경우에도 적응형-BN 방법이 높은 상관관계를 유지하는가?
• RQ4 L2-노름 기반 필터 프루닝에 적용했을 때 적응형-BN 평가 방법이 L1-노름 기반 프루닝에 비해 어떻게 성능을 내는가?
• RQ5 전체 재학습 없이도 적응형-BN 방법이 프루닝 후보를 신뢰성 있게 순위 매길 수 있는가? 이를 통해 프루닝 파이프라인의 가속화가 가능한가?

주요 결과

• 62.5% FLOPs 제약 조건 하에서 CIFAR-10의 MobileNetV1에서 적응형-BN 기반 평가가 최종 튜닝된 정확도와 0.937의 피어슨 상관관계를 달성하며, 순수한 BN보다 뚜렷이 뛰어난 성능을 보였다.
• FLOPs 제약 없이 ResNet-50를 사용한 경우, 적응형-BN는 0.681의 상관관계를 기록했고, 순수한 BN은 0.279에 머물러 있어 더 높은 안정성을 입증했다.
• FLOPs 제약 없이 ImageNet의 MobileNetV2를 사용한 경우, 적응형-BN는 피어슨 상관관계 0.634(Spearman: 0.564)를 기록했고, 순수한 BN은 Spearman -0.216을 기록하여 우월한 성능을 입증했다.
• ImageNet에서 L2-노름 기반 프루닝을 적용한 경우, 적응형-BN는 피어슨 상관관계 0.535를 기록했고, 순수한 BN은 0.074에 머물러 있어 L1 기반 프루닝을 넘어서 일반화됨을 확인했다.
• 다양한 설정에서 높은 성능 유지: CIFAR-10의 MobileNetV1(0.655–0.857), CIFAR-10의 ResNet-50(0.279–0.681), ImageNet의 MobileNetV2(−0.09에서 0.634)
• 모든 평가 설정에서 피어슨, 스피어만, 켄달 상관관계 지표 모두에서 적응형-BN 방법이 높은 상관관계를 지속적으로 보이며, 신속한 서브넷 평가에 있어 신뢰성 있는 방법임을 입증했다.