[논문 리뷰] NISP: Pruning Networks using Neuron Importance Score Propagation

Ruichi Yu, Ang Li외 7명|arXiv (Cornell University)|2017. 11. 16.

Advanced Neural Network Applications참고 문헌 38인용 수 62

한 줄 요약

NISP는 최종 응답 중요도 점수를 네트워크를 역방향으로 propagated하여 중요하지 않은 뉴런을 식별하고 제거함으로써, 정확도 손실은 최소화하면서 더 빠르고 작고 효율적인 모델을 생성한다.

ABSTRACT

To reduce the significant redundancy in deep Convolutional Neural Networks (CNNs), most existing methods prune neurons by only considering statistics of an individual layer or two consecutive layers (e.g., prune one layer to minimize the reconstruction error of the next layer), ignoring the effect of error propagation in deep networks. In contrast, we argue that it is essential to prune neurons in the entire neuron network jointly based on a unified goal: minimizing the reconstruction error of important responses in the "final response layer" (FRL), which is the second-to-last layer before classification, for a pruned network to retrain its predictive power. Specifically, we apply feature ranking techniques to measure the importance of each neuron in the FRL, and formulate network pruning as a binary integer optimization problem and derive a closed-form solution to it for pruning neurons in earlier layers. Based on our theoretical analysis, we propose the Neuron Importance Score Propagation (NISP) algorithm to propagate the importance scores of final responses to every neuron in the network. The CNN is pruned by removing neurons with least importance, and then fine-tuned to retain its predictive power. NISP is evaluated on several datasets with multiple CNN models and demonstrated to achieve significant acceleration and compression with negligible accuracy loss.

연구 동기 및 목표

• 최종 응답(FRL)의 재구성 오차를 최소화하여 층별이 아닌 전체 뉴런 네트워크에 걸친 프루닝을 촉진한다.
• FRL 중요도를 모든 뉴런에 전파하기 위해 Neuron Importance Score Propagation (NISP)를 도입한다.
• 프루닝을 이진 최적화로 정형화하고 뉴런 중요도에 대한 닫힌 형태 해를 도출한다.
• 사전에 정의된 각 층 프루닝 비율과 함께 빠른 역전파 기반 프루닝 방법을 제공하고, 미세조정으로 정확도를 회복한다.

제안 방법

• 최종 응답-계층 중요도를 특징 랭킹 방법(Inf-FS)을 사용해 측정한다.
• FRL로부터 이른 층으로의 역전파를 통해 닫힌 형태의 전파 규칙으로 뉴런 중요도 점수를 역방향으로 전파한다.
• 프루닝을 pruned 네트워크에 대한 FRL의 가중 재구성 오차를 최소화하는 이진 최적화로 정형화하고 상한 기반 해를 도출한다.
• 프루닝된 모델의 각 층 비율을 미리 정한 채 전파된 점수에 따라 뉴런/채널을 프루닝하고 프루닝된 모델을 미세조정한다.
• 완전연결층과 합성곱층 등 다양한 층 타입을 적절히 모아 뉴런/채널 중요도를 처리한다.

실험 결과

연구 질문

• RQ1 네트워크 전체에 걸쳐 전파된 최종 응답 중요도에 의해 가이드되는 프루닝이 층별 또는 크기 기반 프루닝보다 정확도를 더 잘 보존할 수 있는가?
• RQ2 NISP가 표준 CNN에서 어느 정도의 FLOPs와 매개변수 감소를 달성하면서도 경쟁력 있는 정확도를 유지할 수 있는가?
• RQ3 깊은 아키텍처에 걸친 프루닝을 위한 글로벌 뉴런 중요도 점수를 계산하기에 단일 역전파 패스가 충분한가?

주요 결과

• NISP는 MNIST, CIFAR-10, ImageNet에서 정확도 손실이 거의 없이 상당한 가속 및 압축을 달성한다.
• 무작위 프루닝 및 처음부터 학습하는 것과 비교할 때 NISP가 정확도를 더 잘 보존하고 미세조정 중 수렴이 더 빠르다.
• NISP는 특히 네트워크 깊이가 증가할수록 재구성 오차 전파가 감소하여 크기 기반 프루닝 및 층별 프루닝에 비해 우수하다.
• AlexNet에서 NISP 변형은 FLOPs 감소가 최대 약 67.85%에 달하고 top-1 정확도 손실은 1.43%에 그치며; ResNet-56에서 약 43.61% FLOPs 감소와 거의 손실 없는 정확도.
• NISP는 GoogLeNet(Inception 모듈)과 ResNet-34/50에서 상당한 FLOPs 및 매개변수 감소와 작은 정확도 페널티로 강력한 성능을 보인다.