[논문 리뷰] Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection

Tianshu Chu, Qin Luo외 2명|arXiv (Cornell University)|2019. 12. 29.

Advanced Neural Network Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 깊이가 깊어질수록 점차 감소하는 비트폭을 가지는 혼합 정밀도 양자화 신경망을 제안한다. 여기서 깊은 층은 최소 1비트까지 낮은 정밀도를 사용하고, 浅은 층은 최대 8비트까지 높은 정밀도를 유지한다. 깊은 층이 양자화에 대해 민감도가 점차 감소하는 것을 활용하여, 동일 정밀도 양자화 대비 모델 크기를 30퍼센트 이상 줄였고, 이미지 분류 및 객체 검출 벤치마크에서 정확도를 유지하거나 향상시켰다.

ABSTRACT

Efficient model inference is an important and practical issue in the deployment of deep neural network on resource constraint platforms. Network quantization addresses this problem effectively by leveraging low-bit representation and arithmetic that could be conducted on dedicated embedded systems. In the previous works, the parameter bitwidth is set homogeneously and there is a trade-off between superior performance and aggressive compression. Actually the stacked network layers, which are generally regarded as hierarchical feature extractors, contribute diversely to the overall performance. For a well-trained neural network, the feature distributions of different categories differentiate gradually as the network propagates forward. Hence the capability requirement on the subsequent feature extractors is reduced. It indicates that the neurons in posterior layers could be assigned with lower bitwidth for quantized neural networks. Based on this observation, a simple but effective mixed-precision quantized neural network with progressively ecreasing bitwidth is proposed to improve the trade-off between accuracy and compression. Extensive experiments on typical network architectures and benchmark datasets demonstrate that the proposed method could achieve better or comparable results while reducing the memory space for quantized parameters by more than 30\% in comparison with the homogeneous counterparts. In addition, the results also demonstrate that the higher-precision bottom layers could boost the 1-bit network performance appreciably due to a better preservation of the original image information while the lower-precision posterior layers contribute to the regularization of $k-$bit networks.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 양자화된 신경망의 모델 압축과 정확도 간의 상충 관계를 해결하기 위해.
• 층별 특성 분포와 네트워크 깊이에 기반한 비트폭 할당을 통해 동일 정밀도 양자화를 초월하는 것을 목적으로 한다.
• 메모리와 계산 자원을 줄이면서 성능을 훼손하지 않고 깊은 네트워크를 엣지 장치에 효율적으로 구현하기 위해.
• 다양한 아키텍처와 작업(이미지 분류 및 객체 검출 포함)에서 점진적 비트폭 감소의 효과를 검증하기 위해.

제안 방법

• 이 방법은 초기 층에서 8비트 또는 4비트부터 시작하여 깊이가 깊어질수록 비트폭을 점차 낮추어 최종 층에서는 1비트로 감소시킨다.
• 깊은 층이 더 분류 가능한, 분리 가능한 특징을 추출하므로 양자화에 대해 민감도가 낮다는 관찰을 활용한다.
• 고정밀도의 하단 층은 원본 이미지 정보를 유지하고, 저정밀도의 상단 층은 k비트 네트워크에서 정규화 기능을 수행한다.
• VGG, AlexNet, ResNet-18/20, SSD에 프레임워크를 적용하였으며, 표준 최적화(Adam/SGD)와 양자화 인식 훈련을 사용해 엔드 투 엔드 훈련을 수행하였다.
• 층의 깊이와 특성 분포 추세를 바탕으로 아키텍처별로 수동으로 비트폭 스케줄링을 설계하였다.
• 매개변수 저장 크기를 줄여 모델 압축을 달성하였고, 고정소수점 산술을 통해 추론 속도를 향상시켰다.

실험 결과

연구 질문

• RQ1 신경망의 층 간에 점차 감소하는 비트폭을 적용하면, 양자화된 신경망의 정확도-압축 상충 관계를 개선할 수 있는가?
• RQ2 훈련된 네트워크에서 깊은 층이 더 분리 가능한 특징 표현을 가지기 때문에 양자화에 대해 민감도가 감소하는가?
• RQ3 입력 수준의 정보를 유지함으로써 고정밀도 하단 층이 1비트 네트워크 성능을 향상시킬 수 있는가?
• RQ4 감소하는 비트폭을 가지는 혼합 정밀도 양자화가 동일 정밀도 k비트 양자화에 비해 정확도와 모델 크기 측면에서 뛰어난가?

주요 결과

• 제안된 혼합 정밀도 QNN는 동일 정밀도 양자화 대비 매개변수 메모리 사용량을 30퍼센트 이상 줄였고, 정확도를 유지하거나 향상시켰다.
• CIFAR-100에서 8-4-2-1-1-1 혼합 정밀도 ResNet-20는 오직 1.06 MB의 매개변수 크기로 Top-1 정확도 71.53%를 달성하여, 동일 정밀도 1비트 및 2비트 기준선을 초월했다.
• ImageNet에서 혼합 정밀도 ResNet-18는 1.42 MB 모델 크기로 Top-1 정확도 65.03%를 기록하여, 동일 정밀도 2비트 기준선(64.40%)과 1비트 방법을 모두 앞섰다.
• Pascal VOC에서 혼합 정밀도 SSD는 62.21% mAP를 기록하여, 동일 정밀도 2비트 Dorefa 기준선(60.66%)을 초월했고, 낮은 정밀도에서도 기본적인 객체 검출 기능을 구현했다.
• 훈련 곡선은 안정적인 수렴을 보여주어, 점진적 비트폭 전략이 표준 훈련 절차와 호환됨을 확인했다.
• 높은 정밀도의 초기 층이 특히 1비트 설정에서 저정밀도 네트워크의 성능을 크게 향상시킨다는 점을 입증했다.