[논문 리뷰] Compact Deep Convolutional Neural Networks With Coarse Pruning

Sajid Anwar, Wonyong Sung|arXiv (Cornell University)|2016. 10. 30.

Advanced Neural Network Applications참고 문헌 21인용 수 37

한 줄 요약

이 논문은 특성 맵과 커널 수준에서 거시적(pruning)을 통해 컴act한 딥 컨volution 신경망을 제안하며, 복잡한 희소 표현을 필요로 하지 않고도 높은 희소성(스퍼시티)을 달성한다. 재학습된 프루닝된 네트워크를 통해 CIFAR-10에서 1% 이내의 정확도 손실로 합성곱 레이어에서 85% 이상의 희소성을 달성함으로써 자원 제약이 있는 환경에서의 추론에 대해 확장성과 효율성을 입증한다.

ABSTRACT

The learning capability of a neural network improves with increasing depth at higher computational costs. Wider layers with dense kernel connectivity patterns furhter increase this cost and may hinder real-time inference. We propose feature map and kernel level pruning for reducing the computational complexity of a deep convolutional neural network. Pruning feature maps reduces the width of a layer and hence does not need any sparse representation. Further, kernel pruning converts the dense connectivity pattern into a sparse one. Due to coarse nature, these pruning granularities can be exploited by GPUs and VLSI based implementations. We propose a simple and generic strategy to choose the least adversarial pruning masks for both granularities. The pruned networks are retrained which compensates the loss in accuracy. We obtain the best pruning ratios when we prune a network with both granularities. Experiments with the CIFAR-10 dataset show that more than 85% sparsity can be induced in the convolution layers with less than 1% increase in the missclassification rate of the baseline network.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 실시간 추론을 위한 깊고 넓은 CNN의 높은 계산 비용을 해결하기 위해.
• 세밀한 프루닝의 한계를 극복하기 위해, 이는 비정규적인 희소성(unsparse)을 유도하고 계산 성능 향상을 위해 복잡한 희소 표현을 요구하기 때문이다.
• 성능 저하를 최소화하는 단순하고 일반적인 프루닝 마스크 선택 전략을 개발하기 위해.
• 특성 맵과 커널 프루닝을 조합하면 개별 프루닝 전략에 비해 더 뛰어난 압축과 희소성 성능을 달성할 수 있음을 입증하기 위해.
• 복잡한 희소 데이터 구조를 피하는 거시적 희소성 덕분에 GPU 및 VLSI에서 효율적인 배포를 가능하게 하기 위해.

제안 방법

• 레이어의 너비를 줄이기 위해 특성 맵 프루닝을 적용하여, 희소 표현이 필요 없이 직접 얇은 네트워크를 생성한다.
• 밀도 있는 연결 패턴을 희소한 것으로 전환하기 위해 커널 프루닝을 적용하며, 각 합성곱 연결에 대해 단일 플래그를 사용해 단순한 희소 표현을 구현한다.
• 특성 맵과 커널 수준 양쪽 모두에 대해 크기 기반 프루닝에 기반한 일반적이고 최소한의 적대성(least-adversarial) 프루닝 마스크 선택 전략을 제안한다.
• 프루닝으로 인한 성능 저하를 복구하고 유지하기 위해 프루닝된 네트워크를 재학습한다.
• 두 단계 프로세스를 사용하는 프루닝 파이프라인: 먼저 특성 맵 프루닝을 적용한 후, 프루닝된 네트워크에 대해 커널 프루닝을 수행하여 최대한의 희소성과 정확도 유지.
• 제어된 정확도 예산을 가진 여러 네트워크 아키텍처를 사용하여 CIFAR-10 및 SVHN 데이터셋에서 방법을 평가한다. 이는 $CNN_{small}$ 및 $CNN_{large}$를 포함한다.

실험 결과

연구 질문

• RQ1 특성 맵과 커널 수준에서 거시적 프루닝이 복잡한 희소 표현에 의존하지 않고도 높은 희소성을 달성할 수 있는가?
• RQ2 특성 맵 프루닝과 커널 프루닝의 조합은 개별 프루닝 전략에 비해 희소성 및 정확도의 상호 교환 관계에서 어떻게 비교되는가?
• RQ3 단순하고 일반적인 프루닝 마스크 선택 전략이 프루닝 중 성능 저하를 효과적으로 최소화할 수 있는가?
• RQ4 이러한 방법은 다양한 네트워크 아키텍처와 데이터셋에 대해 얼마나 확장 가능한가?
• RQ5 유도된 희소성이 GPU 및 VLSI와 같은 표준 하드웨어 플랫폼에서 계산 효율성으로 이어지는가?

주요 결과

• 제안된 방법은 기준 모델 대비 분류 오류율이 1% 이내로 증가함과 동시에 $CNN_{small}$ 네트워크의 합성곱 레이어에서 85% 이상의 희소성을 달성한다.
• 특성 맵과 커널 프루닝을 조합하면 가장 높은 프루닝 비율을 달성하며, 최종 프루닝된 네트워크에서 75% 이상의 희소성을 달성한다.
• $CNN_{large}$ 네트워크에서 두 가지 프루닝의 조합을 순차적으로 적용할 경우, Conv2–Conv7 레이어에서 88% 이상의 희소성을 달성한다.
• 커널 프루닝은 특성 맵 프루닝보다 더 높은 희소성 비율을 가능하게 하며, 일부 레이어에서는 커널 희소성이 최대 70%에 이를 수 있다.
• 이 방법은 다른 데이터셋으로도 잘 일반화되며, SVHN 데이터셋에서 유사한 정확도 안정성과 함께 70% 이상의 프루닝 비율을 달성한다.
• 프루닝 전략은 하드웨어에 종속되지 않으며, 유도된 희소 표현의 단순성 덕분에 하드웨어에 관계없이 속도 향상을 가능하게 한다.