[논문 리뷰] Quantized Convolutional Neural Networks for Mobile Devices

Jiaxiang Wu, Cong Leng외 3명|arXiv (Cornell University)|2015. 12. 21.

Advanced Neural Network Applications참고 문헌 27인용 수 32

한 줄 요약

이 논문은 양방향 컨볼루션 및 완전 연결 레이어 가중치를 양자화하여 컨볼루션 신경망을 가속화하고 압축하는 통합 프레임워크인 Q-CNN를 제안한다. 양자화 중 레이어 반응 추정 오차를 최소화하고 오차 누적을 억제하기 위한 학습 기반 기법을 사용함으로써 Q-CNN는 4–6×의 가속도와 15–20×의 모델 압축을 달성하면서 정확도 저하가 1% 미만이 되었으며, 이는 모바일 기기에서 실시간 이미지 분류를 가능하게 한다.

ABSTRACT

Recently, convolutional neural networks (CNN) have demonstrated impressive performance in various computer vision tasks. However, high performance hardware is typically indispensable for the application of CNN models due to the high computation complexity, which prohibits their further extensions. In this paper, we propose an efficient framework, namely Quantized CNN, to simultaneously speed-up the computation and reduce the storage and memory overhead of CNN models. Both filter kernels in convolutional layers and weighting matrices in fully-connected layers are quantized, aiming at minimizing the estimation error of each layer's response. Extensive experiments on the ILSVRC-12 benchmark demonstrate 4~6x speed-up and 15~20x compression with merely one percentage loss of classification accuracy. With our quantized CNN model, even mobile devices can accurately classify images within one second.

연구 동기 및 목표

• 모바일 기기에서 깊이 있는 CNN의 높은 계산 및 메모리 요구량을 해결하기 위해.
• CNN의 컨볼루션 및 완전 연결 레이어를 동시에 가속화하고 압축하기 위해.
• 반응 추정 오차 최소화를 통해 모델 양자화 중 분류 정확도 저하를 최소화하기 위해.
• 다중 양자화 레이어 간 오차 누적을 억제할 수 있는 학습 기반 기법을 개발하기 위해.
• 양자화된 모델을 사용하여 모바일 플랫폼에서 실시간 추론을 구현하기 위해.

제안 방법

• 컨볼루션 레이어의 필터 커널과 완전 연결 레이어의 가중치 행렬을 양자화하여 효율적인 근사 내적 계산을 가능하게 한다.
• 모델 성능을 유지하기 위해 양자화 과정에서 각 레이어의 반응 추정 오차를 최소화한다.
• 이전 레이어의 추정 오차를 고려한 학습 기반 기법을 도입하여 깊은 신경망 내 누적 오차를 감소시킨다.
• 다른 레이어에 대해 서로 다른 비트 폭을 사용하는 하이브리드 양자화 전략을 적용한다: 컨볼루션 레이어는 8비트, 완전 연결 레이어는 3–4비트.
• 완전 연결 레이어에서 저랭크 근사와 파라미터 제거를 적용하여 모델 크기를 추가로 감소시킨다.
• GPU 가속 없이 CPU 전용 추론을 사용하여 모바일 기기에서 양자화된 모델을 구현한다.

실험 결과

연구 질문

• RQ1 컨볼루션 및 완전 연결 레이어의 공동 양자화가 CNN의 추론 가속화와 모델 크기 감소를 동시에 달성할 수 있는가?
• RQ2 반응 추정 오차를 각 레이어에서 최소화하면서 분류 정확도를 유지하기 위해 양자화를 어떻게 최적화할 수 있는가?
• RQ3 다중 양자화 레이어 간 오차 누적이 미치는 영향은 무엇이며, 학습 과정에서 이를 어떻게 완화할 수 있는가?
• RQ4 양자화된 CNN가 최소한의 정확도 손실로 모바일 기기에서 실시간 추론을 얼마나 달성할 수 있는가?
• RQ5 기본 기반의 양자화 및 압축 기법과 비교했을 때 Q-CNN의 성능은 표준 벤치마크에서 어떻게 나타나는가?

주요 결과

• ILSVRC-12 벤치마크에서 Q-CNN는 4.05×에서 5.78×의 가속도와 15.40×에서 20.34×의 압축을 달성했으며, 상위 5개 정확도 손실은 1% 미만이었다.
• 화웨이 메이트 7 스마트폰에서 Q-CNN는 추론 시간을 AlexNet 기준 2.93초에서 0.95초로 단축했고, CNN-S 기준 10.58초에서 2.61초로 줄여 3–4×의 가속도를 달성했다.
• 저장소 소비는 원본 AlexNet의 232.56MB에서 Q-CNN의 12.60MB로 15.4× 감소했으며, 메모리 사용량은 264.74MB에서 74.65MB로 감소했다.
• VGG-16에 대해 Q-CNN는 4.06×의 가속도와 20.34×의 압축을 달성했으며, 상위 5개 오차율 증가율은 오직 0.58%에 불과했다.
• 이 프레임워크는 GPU 가속 없이도 모바일 기기에서 1초 이내로 실시간 이미지 분류를 가능하게 했다.
• CPU 전용 시스템에서의 실제 가속도는 이론적 추정보다 略적으로 낮았으며, SIMD 또는 AVX를 통한 추가 최적화 가능성이 있음을 시사했다.