[논문 리뷰] Exploiting Kernel Sparsity and Entropy for Interpretable CNN Compression

Yuchao Li, Shaohui Lin외 6명|arXiv (Cornell University)|2018. 12. 11.

Advanced Neural Network Applications참고 문헌 46인용 수 8

한 줄 요약

이 논문은 입력 특징 맵의 중요도를 2D 커널의 희소성과 엔트로피를 통해 정량화하는 해석 가능한 새로운 방법인 커널 희소성 및 엔트로피(Kernel Sparsity and Entropy, KSE)를 제안한다. KSE를 기반으로 커널을 군집화함으로써, 효율적이고 계층별이며 고정밀도의 압축을 가능하게 하여, ImageNet 2012에서 ResNet-50의 경우 4.7× FLOPs 감소와 2.9× 모델 압축을 달성하면서 Top-5 정확도가 오직 0.35% 감소하는 결과를 얻었다.

ABSTRACT

Compressing convolutional neural networks (CNNs) has received ever-increasing research focus. However, most existing CNN compression methods do not interpret their inherent structures to distinguish the implicit redundancy. In this paper, we investigate the problem of CNN compression from a novel interpretable perspective. The relationship between the input feature maps and 2D kernels is revealed in a theoretical framework, based on which a kernel sparsity and entropy (KSE) indicator is proposed to quantitate the feature map importance in a feature-agnostic manner to guide model compression. Kernel clustering is further conducted based on the KSE indicator to accomplish high-precision CNN compression. KSE is capable of simultaneously compressing each layer in an efficient way, which is significantly faster compared to previous data-driven feature map pruning methods. We comprehensively evaluate the compression and speedup of the proposed method on CIFAR-10, SVHN and ImageNet 2012. Our method demonstrates superior performance gains over previous ones. In particular, it achieves 4.7 imes FLOPs reduction and 2.9 imes compression on ResNet-50 with only a Top-5 accuracy drop of 0.35% on ImageNet 2012, which significantly outperforms state-of-the-art methods.

연구 동기 및 목표

• 기존의 CNN 압축 방법들이 네트워크 구조 내 임의의 중복성을 구분하지 못하는 해석 불가능성의 문제를 해결하기 위해.
• 입력 특징 맵의 중요도를 정량화할 수 있는 이론적으로 탄탄하고 특징에 의존하지 않는 지표를 개발하기 위해.
• 제안된 KSE 지표에 기반한 커널 군집화를 통해 효율적이고 고정밀도의 CNN 압축을 실현하고, 잔차 네트워크에서의 아키텍처 불일치 문제를 피하기 위해.
• 전체 학습 세트에 걸쳐 데이터 기반의 특징 맵 계산에 의존하지 않고도 우수한 압축과 속도 향상을 달성하기 위해.
• CIFAR-10, SVHN, ImageNet 2012에서 최신 기준 성능을 확보하면서 정확도 손실를 최소화하기 위해.

제안 방법

• 입력 특징 맵과 그에 대응하는 2D 컨볼루션 커널 간의 이론적 프레임워크를 제안하여, 희소성과 정보 러프니스가 특징 맵 중요도의 핵심 지표임을 규명한다.
• 커널 희소성(수용 필드의 조밀도를 나타냄)과 커널 엔트로피(공간적 정보 분포를 나타냄)를 조합한 복합 측정 지표인 커널 희소성 및 엔트로피(Kernel Sparsity and Entropy, KSE) 지표를 도입한다.
• KSE 지표를 기반으로 커널 군집화를 적용하여 각 입력 특징 맵의 2D 커널 수를 감소시킴으로써 계층별로 구조화된 압축을 가능하게 한다.
• 표준 컨볼루션을 두 단계로 분할: 각 입력 특징 맵에 대한 2D 컨볼루션 수행 후 채널별로 덧셈 수행 → 각 맵별로 독립적인 커널 프루닝이 가능해짐.
• 압축의 세분성 제어를 위한 압축 세분성 파라미터 G를 도입하여 미세 조절에서 거친 조정에 이르기까지 다양한 프루닝 전략을 가능하게 한다.
• 커널 군집화 후 소수의 에포크 동안 압축된 네트워크를 피니테이닝하여 정확도를 복구한다.

실험 결과

연구 질문

• RQ1 2D 커널의 희소성과 정보 러프니스를 동시에 사용하여 특징에 의존하지 않고 해석 가능한 입력 특징 맵 중요도 지표를 만들 수 있는가?
• RQ2 KSE 지표가 단독으로 커널 희소성 또는 엔트로피보다 효과적인 CNN 압축을 이끄는가?
• RQ3 KSE를 기반으로 한 커널 군집화가 잔차 네트워크에서 정확도를 유지하면서도 고압축과 고속도를 달성할 수 있는가?
• RQ4 정확도와 효율성의 균형을 고려할 때, 커널 군집화의 최적의 압축 세분성 G는 무엇인가?
• RQ5 KSE 기반 방법이 데이터 기반 활성화 기반 프루닝 방법보다 속도, 정확도, FLOPs 감소 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 KSE 지표는 단독으로 커널 희소성 또는 엔트로피를 사용하는 것보다 뛰어난 성능을 보이며, ResNet-56에서 G=4일 때 커널 희소성 대비 Top-1 정확도가 0.52% 향상됨.
• ImageNet 2012에서, ResNet-50의 경우 4.7× FLOPs 감소와 2.9× 모델 압축을 달성하면서 Top-5 정확도가 오직 0.35% 감소함.
• CIFAR-10에서의 DenseNet-40에 대해, 3.37M 파라미터로 73.03%의 Top-1 정확도를 달성하여 높은 압축성 확보됨.
• 전체 배치의 특징 맵 계산을 피하기 때문에, 데이터 기반 특징 맵 프루닝 방법보다 더 빠른 압축 속도를 제공함.
• 시각화 결과는 낮은 KSE 값이 정보가 적은 특징 맵과 대응됨을 확인하여, 이 방법이 부용한 맵을 정확히 식별할 수 있음을 검증함.
• 필터나 특징 맵 제거로 인한 차원 불일치 문제를 피할 수 있어, ResNets나 DenseNets와 같은 현대 아키텍처와 호환됨.