[논문 리뷰] Rethinking Class-Discrimination Based CNN Channel Pruning

Yuchen Liu, David Wentzlaff외 1명|arXiv (Cornell University)|2020. 04. 29.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 10

한 줄 요약

이 논문은 CNN 프루닝을 위한 새로운 채널 프루닝 방법을 제안하며, 클래스 구분 능력 지표를 재평가하여 정보성 채널을 선별하는 데 더 우수한 성능을 보이는 일반화된 대칭 발산(G-SD) 지표를 도입한다. G-SD와 FLOP 정규화된 민감도 분석을 결합함으로써 ImageNet에서 44.3% FLOPs 감소를 달성하면서도 ResNet-50 기준으로 상위 1위 정확도가 0.3% 감소에 그치는 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Channel pruning has received ever-increasing focus on network compression. In particular, class-discrimination based channel pruning has made major headway, as it fits seamlessly with the classification objective of CNNs and provides good explainability. Prior works singly propose and evaluate their discriminant functions, while further study on the effectiveness of the adopted metrics is absent. To this end, we initiate the first study on the effectiveness of a broad range of discriminant functions on channel pruning. Conventional single-variate binary-class statistics like Student's T-Test are also included in our study via an intuitive generalization. The winning metric of our study has a greater ability to select informative channels over other state-of-the-art methods, which is substantiated by our qualitative and quantitative analysis. Moreover, we develop a FLOP-normalized sensitivity analysis scheme to automate the structural pruning procedure. On CIFAR-10, CIFAR-100, and ILSVRC-2012 datasets, our pruned models achieve higher accuracy with less inference cost compared to state-of-the-art results. For example, on ILSVRC-2012, our 44.3% FLOPs-pruned ResNet-50 has only a 0.3% top-1 accuracy drop, which significantly outperforms the state of the art.

연구 동기 및 목표

• 다양한 차원의 통계 및 단변량 통계를 포함한 클래스 구분 능력 함수의 효과성을 CNN 채널 프루닝에 대해 조사한다.
• 단일 변수 이진 클래스 통계(예: 스튜던트의 T-검정)를 경량적이고 직관적인 방식으로 다중 클래스 및 고차원 채널 점수화에 일반화한다.
• 동일한 FLOPs 감소 조건에서 층 간의 재현성 여부를 공정하게 비교할 수 있도록, 자동화된 다층 프루닝 결정을 위한 FLOP 정규화된 민감도 분석 기반의 설계를 제안한다.
• CIFAR-10, CIFAR-100, ILSVRC-2012와 같은 표준 벤치마크에서 최신 기술 수준의 모델 압축을 달성하면서 정확도 손실를 최소화한다.

제안 방법

• 스튜던트의 T-검정과 같은 단변량 이진 클래스 통계를 일반화하여 다중 클래스 및 고차원 채널 점수화 함수로 확장하고, 일반화된 대칭 발산(G-SD)을 도입한다.
• G-SD를 사용하여 클래스 간 활성화의 분리 정도가 높은 채널을 기반으로 채널을 순위 매긴다.
• 동일한 FLOPs 감소 조건에서 층 간의 프루닝 민감도를 평가하기 위해 FLOP 정규화된 민감도 분석을 제안하여 자동화된 층 단위 프루닝 결정을 가능하게 한다.
• G-SD와 FLOP 정규화된 민감도 분석을 통합하여 재학습 없이도 채널을 선택하고 프루닝 비율을 결정할 수 있는 통합 프루닝 파이프라인을 구축한다.
• CIFAR-10, CIFAR-100, ILSVRC-2012에서 VGGNet 및 ResNet 아키텍처에 적용하여 정확도와 FLOPs 감소율을 평가한다.
• 재학습 여부에 따라 비교 분석을 수행하여 채널 선택 품질의 영향을 재학습 효과와 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 일반화된 단변량 통계 및 고차원 함수를 포함한 다양한 클래스 구분 지표가 CNN 채널 프루닝에 얼마나 효과적인가?
• RQ2 스튜던트의 T-검정과 같은 단변량 이진 클래스 통계를 CNN의 다중 클래스 및 고차원 채널 점수화에 의미적으로 일반화할 수 있는가?
• RQ3 제안된 FLOP 정규화된 민감도 분석은 기존 방법에 비해 더 정확하고 자동화된 다층 프루닝 결정을 가능하게 하는가?
• RQ4 재학습과 무관하게 채널 선택 품질이 최종 프루닝 모델의 정확도에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 다양한 벤치마크에서 정확도 및 FLOPs 감소율 측면에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 일반화된 대칭 발산(G-SD) 지표는 MMD 및 이전 방법들을 포함한 다른 분류 기반 함수보다 정보성 채널 선별에서 뚜렷한 우수성을 보였다.
• ILSVRC-2012에서 44.3% FLOPs 감소를 달성한 프루닝된 ResNet-50은 상위 1위 정확도 75.85%를 기록했으며, 정확도 손실는 0.3%에 불과하여 최신 기술 수준의 방법을 초월했다.
• 재학습 없이도 G-SD는 VGG-16(ImageNet) 및 ResNet-110(CIFAR-10)에서 모든 FLOPs 감소 비율에서 더 높은 정확도를 유지하여 뛰어난 채널 선택 품질을 입증했다.
• FLOP 정규화된 민감도 분석은 성능 저하 없이 정확한 프루닝을 가능하게 하였으며, Li의 방법과 비교해 0.3%의 정확도 손실를 기록한 반면, 제안된 방법은 정확도 손실가 없었다.
• 정성적 분석 결과, G-SD는 ℓ1-노름, 배치 정규화 스케일링, 기하 평균과 비교해 더 명확한 클래스 분리성과 더 구분력 있는 특징 패턴을 가진 채널을 선택하는 것으로 나타났다.
• 동일한 FLOPs 감소 비율에서 GAL [36]에 비해 상위 1위 정확도를 4% 향상시켰으며, 동시에 더 높은 스피드업 비율도 제공했다.