[논문 리뷰] Toward Compact Deep Neural Networks via Energy-Aware Pruning

Seul-Ki Yeom, Kyung-Hwan Shim외 1명|arXiv (Cornell University)|2021. 03. 19.

Advanced Neural Network Applications참고 문헌 50인용 수 8

한 줄 요약

이 논문은 깊이 신경망에서 가장 중요도가 낮은 필터를 식별하고 제거하기 위해 핵노름(NN)을 사용한 에너지 인식 필터 프루닝 방법을 제안한다. 이는 특이값 분해(SVD)를 활용하여 효율적인 에너지 측정을 수행한다. 제안된 방법은 CIFAR-10과 ImageNet에서 다양한 아키텍처에서 최신 기술 수준(SOTA) 성능을 달성하며, FLOPs를 최대 76.7% 감소시키고 파라미터를 68.6% 감소시키면서 정확도 저하를 최소화한다.

ABSTRACT

Despite the remarkable performance, modern deep neural networks are inevitably accompanied by a significant amount of computational cost for learning and deployment, which may be incompatible with their usage on edge devices. Recent efforts to reduce these overheads involve pruning and decomposing the parameters of various layers without performance deterioration. Inspired by several decomposition studies, in this paper, we propose a novel energy-aware pruning method that quantifies the importance of each filter in the network using nuclear-norm (NN). Proposed energy-aware pruning leads to state-of-the-art performance for Top-1 accuracy, FLOPs, and parameter reduction across a wide range of scenarios with multiple network architectures on CIFAR-10 and ImageNet after fine-grained classification tasks. On toy experiment, without fine-tuning, we can visually observe that NN has a minute change in decision boundaries across classes and outperforms the previous popular criteria. We achieve competitive results with 40.4/49.8% of FLOPs and 45.9/52.9% of parameter reduction with 94.13/94.61% in the Top-1 accuracy with ResNet-56/110 on CIFAR-10, respectively. In addition, our observations are consistent for a variety of different pruning setting in terms of data size as well as data quality which can be emphasized in the stability of the acceleration and compression with negligible accuracy loss.

연구 동기 및 목표

• 현대의 깊이 신경망이 가지는 높은 계산 및 저장 비용을 해결하기 위해, 특히 엣지 기반 배포를 위한 대상이 되도록 한다.
• 기존의 프루닝 기준의 한계를 극복하기 위해, 저랭크 근사와 필터 분해에 기반한 새로운 에너지 기반 메트릭을 도입한다.
• 낮은 데이터 및 저품질 데이터 조건에서 일반적으로 발생하는 실세계 응용 환경에서 효과적인 안정적이고 데이터에 강건한 프루닝 방법을 개발한다.
• 다양한 아키텍처와 데이터셋에서 정확도, FLOPs, 파라미터 감소 측면에서 최신 기술 수준의 압축 성능을 달성한다.

제안 방법

• 각 컨볼루션 필터의 핵노름(특이값의 합)을 SVD를 통해 계산하여 에너지 기여도를 정량화한다.
• 각 레이어의 필터를 핵노름 값 기준으로 순위를 매기고, 에너지가 가장 낮은 필터부터 프루닝한다.
• 정확도 복구를 위해 프루닝 후 미세조정을 적용하여 성능 저하를 최소화한다.
• 모든 레이어에 동일한 전역 프루닝 비율 전략을 적용하여 체계적인 압축을 가능하게 한다.
• 저랭크 근사와 필터 분해에서 유도된 통찰을 활용하여 프루닝을 에너지 보존 문제로 재정의한다.
• 다양한 아키텍처(ResNet, DenseNet, GoogLeNet, VGG)와 데이터셋(CIFAR-10, ImageNet)에 걸쳐 적용하여 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 핵노름 기반 에너지 측정이 필터 프루닝에 더 효과적이고 안정적인 기준이 될 수 있는가?
• RQ2 제안된 에너지 인식 프루닝 방법은 정확도, FLOPs, 파라미터 감소 측면에서 다양한 네트워크 아키텍처와 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ3 데이터 양과 품질의 변화(예: 과도하게 자신감 있는 또는 불확실한 샘플)에 대해 이 방법은 어느 정도 강건한가?
• RQ4 강력한 압축 조건에서도 높은 안정성과 낮은 정확도 저하를 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 유사한 압축 비율에서 기존의 프루닝 기반 기법보다 모델 성능을 더 잘 유지하는가?

주요 결과

• CIFAR-10에서 ResNet-56에 적용했을 때, Top-1 정확도 94.13%를 달성했고, FLOPs는 40.4% 감소하고 파라미터는 45.9% 감소시켰다. 이는 이전 방법들을 능가하는 성능이다.
• CIFAR-10에서 ResNet-110에 적용했을 때, Top-1 정확도 94.61%를 유지하면서 FLOPs는 49.8% 감소하고 파라미터는 52.9% 감소시켰다.
• ImageNet에서 ResNet-50에 적용했을 때, FLOPs는 76.7% 감소하고 파라미터는 68.6% 감소시켰으며, Top-1 정확도는 72.28% 유지하고 기준 모델 대비 정확도 저하가 0.89%에 불과했다.
• GoogLeNet에 적용했을 때, Top-1 정확도 95.11%를 달성했고, FLOPs는 70.4% 감소하고 파라미터는 73.5% 감소시켰다. 이는 HRank보다 1.04% 높은 정확도를 기록했고, 파라미터 수는 더 적었다.
• 절단 실험에서, 소수의 샘플이나 전이 학습 환경을 포함한 다양한 데이터 품질과 양에서도 높은 안정성을 보였다.
• 모든 평가된 아키텍처와 데이터셋에서 정확도, FLOPs, 파라미터 감소 측면에서 기존의 프루닝 기법들을 일관되게 능가하는 성능을 보였다.