[논문 리뷰] Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications

Yong‐Deok Kim, Eunhyeok Park외 4명|arXiv (Cornell University)|2015. 11. 20.

Advanced Neural Network Applications인용 수 681

한 줄 요약

이 논문은 깊이 있는 CNN 모델을 위한 일회성 전체 네트워크 압축 기법을 제안한다. 이 기법은 랭크 선택을 위해 변분 베이지안 행렬 분해(VBMF)를 활용하고, 커널 텐서의 저랭크 근사화를 위해 터커 분해를 적용하며, 정확도 복구를 위해 피니팅을 수행한다. 이 방법은 스마트폰에서 에너지 소비를 최대 3.53배 감소시키고 런타임을 3.41배 향상시키며, 정확도 손실을 최소화하면서도, 압축 모델에서 핵심적인 문제인 1×1 컨볼루션의 캐시 비효율성 문제를 해결한다.

ABSTRACT

Although the latest high-end smartphone has powerful CPU and GPU, running deeper convolutional neural networks (CNNs) for complex tasks such as ImageNet classification on mobile devices is challenging. To deploy deep CNNs on mobile devices, we present a simple and effective scheme to compress the entire CNN, which we call one-shot whole network compression. The proposed scheme consists of three steps: (1) rank selection with variational Bayesian matrix factorization, (2) Tucker decomposition on kernel tensor, and (3) fine-tuning to recover accumulated loss of accuracy, and each step can be easily implemented using publicly available tools. We demonstrate the effectiveness of the proposed scheme by testing the performance of various compressed CNNs (AlexNet, VGGS, GoogLeNet, and VGG-16) on the smartphone. Significant reductions in model size, runtime, and energy consumption are obtained, at the cost of small loss in accuracy. In addition, we address the important implementation level issue on 1?1 convolution, which is a key operation of inception module of GoogLeNet as well as CNNs compressed by our proposed scheme.

연구 동기 및 목표

• 메모리, 전력, 계산 능력이 제한된 스마트폰에서 깊이 있는 CNN 모델을 구현하는 데 도전하는 문제를 해결하기 위해.
• AlexNet, VGG-S, GoogLeNet, VGG-16와 같은 복잡한 모델에 대해 효율적인 전체 네트워크 압축을 가능하게 하기 위해.
• 공개된 도구를 사용해 쉽게 구현할 수 있는 단순하고 종단 간 압축 파이프라인을 개발하기 위해.
• 압축 모델에서 캐시 효율성과 전력 소비에 미치는 1×1 컨볼루션의 영향을 분석하기 위해.
• 정확도 저하 없이 모델 크기, 추론 시간, 에너지 소비를 크게 감소시키기 위해.

제안 방법

• 선형 커널 텐서의 재구성 오차를 최소화하기 위해 변분 베이지안 행렬 분해(VBMF)에서 유도된 전역 해석적 해를 사용해 랭크 선택을 수행한다.
• 각 커널 텐서에 대해 터커 분해를 적용하여 저랭크 근사화를 달성함으로써 파라미터 수와 계산 비용을 감소시킨다.
• 모든 압축 파이프라인—랭크 선택, 분해, 피니팅—은 반복적 보정 없이 한 번에 실행되는 일회성 처리 방식을 취한다.
• 압축 과정에서 발생한 정확도 손실을 복구하기 위해 ImageNet 학습 데이터셋을 사용해 피니팅을 수행한다.
• 공개된 도구를 사용해 구현하였다: VBMF(Nakajima, 2015), 터커 분해(Bader et al., 2015), 피니팅을 위한 Caffe.
• 특히, 압축 모델에서 흔히 사용되는 1×1 컨볼루션의 성능 저하 문제를 해결한다. 이는 GoogLeNet의 인셉션 모듈에서도 중요한 역할을 한다.

실험 결과

연구 질문

• RQ1 일회성 종단 간 압축 기법이 다양한 CNN 아키텍처에서 모델 크기, 추론 시간, 에너지 소비를 효과적으로 줄일 수 있는가?
• RQ2 VBMF 기반 랭크 선택은 다른 랭크 선택 방법에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 압축된 CNN에서 1×1 컨볼루션은 캐시 효율성과 GPU 전력 소비에 어떤 영향을 미치는가?
• RQ4 피니팅과 함께 터커 분해를 적용할 경우 정확도를 유지하면서 모델 복잡도를 얼마나 줄일 수 있는가?
• RQ5 제안된 압축 기법은 커스터마이제이션 없이 표준 딥러닝 도구를 사용해 쉽게 구현할 수 있는가?

주요 결과

• 제안된 압축 기법은 네 가지 CNN(AlexNet, VGG-S, GoogLeNet, VGG-16)에 대해 스마트폰에서 평균적으로 런타임을 3.41배 향상시키고 에너지 소비를 3.53배 감소시켰다.
• 모델 크기가 크게 감소하였으며, 파라미터 수 기준으로 VGG-S에서 최대 압축 비율은 ×3.68에 달했다.
• 1×1 컨볼루션의 빈번한 사용으로 인해 GPU 코어의 전력 소비가 감소했다. 이는 캐시 미스와 스탤 사이클 증가로 인해 코어 활용도가 떨어지고 전력 소모가 줄어들기 때문이다.
• 압축되지 않은 모델에서 완전히 연결된 계층을 압축함으로써 주 메모리 전력 소비가 감소했다. AlexNet과 VGG-S와 같은 모델에서는 이 계층이 수백만 바이트의 가중치를 포함하고 있다.
• 이론적으로는 1×1 컨볼루션의 효율성이 높지만, 캐시 효율성이 낮아 스탤 사이클이 증가하고 GPU 활용도가 떨어지므로, 이로 인해 이론적 성능 향상과 실제 성능 향상 간 격차가 발생한다.
• 압축 후 피니팅을 통해 대부분의 정확도 손실이 복구되었으며, 이는 제안된 압축 파이프라인의 강건성을 입증한다.