[논문 리뷰] AutoQ: Automated Kernel-Wise Neural Network Quantization

Qian Lou, Feng Guo외 3명|arXiv (Cornell University)|2019. 02. 15.

Advanced Neural Network Applications참고 문헌 34인용 수 22

한 줄 요약

AutoQ는 합성곱 신경망 내 개별 가중치 커널과 활성화 레이어에 대해 최적의 양자화 비트폭대(이하 QBN)를 자동으로 탐색하는 계층적 딥 강화학습(DRL) 프레임워크를 제안한다. 이는 정확도를 유지하면서 추론 지연 시간과 에너지 소비를 크게 감소시킨다. 고수준 컨트롤러가 목표 QBN을 설정하고, 저수준 컨트롤러가 개별 커널 기반의 양자화를 최적화함으로써 AutoQ는 최신 DRL 기반 방법 대비 54.06% 낮은 지연 시간과 50.69% 낮은 에너지 소비를 달성한다.

ABSTRACT

Network quantization is one of the most hardware friendly techniques to enable the deployment of convolutional neural networks (CNNs) on low-power mobile devices. Recent network quantization techniques quantize each weight kernel in a convolutional layer independently for higher inference accuracy, since the weight kernels in a layer exhibit different variances and hence have different amounts of redundancy. The quantization bitwidth or bit number (QBN) directly decides the inference accuracy, latency, energy and hardware overhead. To effectively reduce the redundancy and accelerate CNN inferences, various weight kernels should be quantized with different QBNs. However, prior works use only one QBN to quantize each convolutional layer or the entire CNN, because the design space of searching a QBN for each weight kernel is too large. The hand-crafted heuristic of the kernel-wise QBN search is so sophisticated that domain experts can obtain only sub-optimal results. It is difficult for even deep reinforcement learning (DRL) Deep Deterministic Policy Gradient (DDPG)-based agents to find a kernel-wise QBN configuration that can achieve reasonable inference accuracy. In this paper, we propose a hierarchical-DRL-based kernel-wise network quantization technique, AutoQ, to automatically search a QBN for each weight kernel, and choose another QBN for each activation layer. Compared to the models quantized by the state-of-the-art DRL-based schemes, on average, the same models quantized by AutoQ reduce the inference latency by 54.06\%, and decrease the inference energy consumption by 50.69\%, while achieving the same inference accuracy.

연구 동기 및 목표

• 개별 커널 기반 비트폭대 선택에 대한 금방이 큰 탐색 공간으로 인해 비효율적인 커널 기반 신경망 양자화 문제를 해결하기 위해.
• 기존 DRL 기반 방법이 커널 기반 양자화에서 수렴 문제와 비최적 설정에 애로를 겪는 한계를 극복하기 위해.
• 각 가중치 커널과 활성화 레이어에 대해 최적의 QBN을 자동으로 결정하여, 저전력 모바일 장치에서 정확하고 저지연, 저에너지 효율적인 CNN 배포를 가능하게 하기 위해.
• 새로운 외재적 보상 함수를 통해 추론 정확도, 지연 시간, 에너지 소비, FPGA 면적 간의 상충 관계를 균형 잡기 위해.

제안 방법

• AutoQ는 고수준 컨트롤러(HLC)가 가중치 커널과 활성화 레이어의 평균 목표 QBN을 설정하는 계층적 DRL 아키텍처를 사용한다.
• 저수준 컨트롤러(LLC)는 HLC의 목표를 바탕으로 개별 커널 기반 QBN을 생성하여 세밀한 커널 기반 양자화를 가능하게 한다.
• HLC 목표 달성과 외부 환경 피드백을 결합한 형태의 내재적 보상이 도입되어 학습 속도를 가속화한다.
• 외재적 보상 함수는 가중 계수(ψ_acc=2, ψ_l=0.5, ψ_e=0.5, ψ_a=0.5)를 사용해 추론 정확도, 지연 시간, 에너지 소비, FPGA 면적 간의 균형을 맞춘다.
• 하드웨어 효율성을 검증하기 위해 시간적 및 공간적 CNN 가속기(비트퓨전 및 FPGA 기반 시스템 포함)에서 평가가 수행되었다.

실험 결과

연구 질문

• RQ1 계층적 DRL 프레임워크는 개별 커널 기반 양자화 비트폭대의 큰 탐색 공간을 효과적으로 탐색하면서도 높은 추론 정확도를 유지할 수 있는가?
• RQ2 형태가 조정된 내재적 보상은 기존의 HIRO나 DDPG와 같은 표준 DRL 에이전트에 비해 학습 효율을 어떻게 향상시키는가?
• RQ3 시간적 및 공간적 CNN 가속기에서 커널 기반 양자화는 추론 지연 시간과 에너지 소비를 어느 정도 감소시킬 수 있는가?
• RQ4 탐색 과정 중에 다수의 하드웨어 및 정확도 메트릭을 효과적으로 균형 잡는 데 외재적 보상 함수가 기여하는 정도는 어떠한가?
• RQ5 시슬로이드 어레이 기반 공간 가속기에서는 서브-커널 기반 양자화가 추가적인 이점을 제공하는가?

주요 결과

• AutoQ는 최신 DRL 기반 양자화 방법 대비 평균적으로 54.06% 낮은 추론 지연 시간과 50.69% 낮은 에너지 소비를 기록하면서도 동일한 정확도를 유지한다.
• 계층적 DRL 접근법은 단 200 에피소드 만에 약 70%의 추론 정확도를 달성하며, DDPG 기반 방법은 250 에피소드까지 약 20% 정확도에 머무르며 뚜렷한 성능 열등성을 보인다.
• 공간 CNN 가속기(BitFusion)에서 커널 기반 양자화는 레이어 기반 양자화 대비 지연 시간을 39.04% 감소시키고 에너지 소비를 33.34% 감소시켰다.
• 시슬로이드 어레이 가속기에서는 서브-커널 기반 양자화가 성능 향상에 기여하지 않으며, 커널 내 최대 QBN이 여전히 하드웨어 자원 사용을 결정하기 때문이다.
• 외재적 보상 함수 덕분에 AutoQ는 94% FPGA 면적을 사용하는 경쟁 기술 대비 85%의 FPGA 면적을 사용하는 QBN 구성으로 최적화된 자원 사용을 확인했다.