[논문 리뷰] An Entropy-based Pruning Method for CNN Compression

Jian-Hao Luo, Jianxin Wu|arXiv (Cornell University)|2017. 06. 19.

Advanced Neural Network Applications참고 문헌 31인용 수 147

한 줄 요약

이 논문은 엔트로피 기반 필터 프루닝 방법으로 CNN의 속도와 압축을 가속화하고 중간 활성화 수를 줄이며 파인튜닝으로 정확도를 유지한다; VGG-16과 ResNet-50에서 상당한 속도 상승과 압축을 달성한다.

ABSTRACT

This paper aims to simultaneously accelerate and compress off-the-shelf CNN models via filter pruning strategy. The importance of each filter is evaluated by the proposed entropy-based method first. Then several unimportant filters are discarded to get a smaller CNN model. Finally, fine-tuning is adopted to recover its generalization ability which is damaged during filter pruning. Our method can reduce the size of intermediate activations, which would dominate most memory footprint during model training stage but is less concerned in previous compression methods. Experiments on the ILSVRC-12 benchmark demonstrate the effectiveness of our method. Compared with previous filter importance evaluation criteria, our entropy-based method obtains better performance. We achieve 3.3x speed-up and 16.64x compression on VGG-16, 1.54x acceleration and 1.47x compression on ResNet-50, both with about 1% top-5 accuracy decrease.

연구 동기 및 목표

• 자원 제약이 큰 기기에서의 배치를 고려하여 CNN의 계산량과 메모리 사용 footprint를 줄이는 것을 동기 부여한다.
• 활성화 채널의 정보 콘텐츠를 통해 필터의 중요성을 평가하는 엔트로피 기반 기준을 도입한다.
• 특수 라이브러리 없이 학습 및 추론 중에 적용할 수 있는 프루닝 전략을 개발한다.
• 프루닝 속도와 최종 모델 정확도 간의 균형을 맞추는 학습 스케줄을 제안한다.
• ImageNet (ILSVRC-12)을 사용하여 VGG-16과 ResNet-50에서 효과를 입증한다.

제안 방법

• 전역 평균 풀링 이후 활성화 채널의 채널별 엔트로피를 계산하여 필터의 중요성을 추정한다.
• 엔트로피에 따라 필터를 순위화하고 낮은 엔트로피 채널과 대응하는 다음 층 채널을 제거하여 고정된 압축 비율로 프루닝한다.
• 프루닝된 네트워크를 파인튜닝하여 정확도를 회복하고 학습 속도를 높이도록 학습 스케줄을 조정한다.
• 다른 아키텍처에 대해 맞춤 전략으로 프루닝한다(예: VGG-16의 초기 합성곱 계층 프루닝; ResNet 블록의 중간 계층 프루닝).
• 기준선(Pruning, APoZ, Taylor 확장)과 비교하고 CUB-200-2011 및 Indoor-67에서 도메인 적응을 평가한다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 활성화 정보가 CNN에서 프루닝에 비필요한 필터를 효과적으로 식별할 수 있는가?
• RQ2 표준 CNN에서 엔트로피 기반 프루닝이 속도, 파라미터 수, 중간 활성화 메모리에 어떤 영향을 미치는가?
• RQ3 프루닝된 네트워크가 ImageNet에서 파인튜닝 후 경쟁력 있는 정확도를 유지하고 다른 도메인으로의 일반화에 이르는가?
• RQ4 VGG-16 및 ResNet-50과 같은 아키텍처에서 프루닝 속도와 최종 정확도 간의 트레이드오프를 가장 잘 해결하는 학습 스케줄은 무엇인가?

주요 결과

• VGG-16에서 엔트로피 기반 선택으로 프루닝은 3.3x의 속도 향상과 16.64x 압축을 달성하며 약 1%의 top-5 정확도 손실을 보인다.
• ResNet-50에서 이 방법은 1.54x 가속 및 1.47x 압축, 약 1%의 top-5 정확도 손실을 달성한다.
• 엔트로피 기반 프루닝은 APoZ 및 Taylor 기반 기준과 비교하여 우수하며 일부 기준선보다 성능이 뛰어나고 일반 라이브러리와의 호환성을 유지한다.
• 단계별로 층 단위로 프루닝하고 각 단계 사이에 짧은 파인튜닝을 하는 학습 스케줄은 순차적 무작정 프루닝에 비해 학습 시간을 크게 줄이면서 성능을 유지한다.