[논문 리뷰] HAQ: Hardware-Aware Automated Quantization

Kuan Wang, Zhijian Liu외 3명|arXiv (Cornell University)|2018. 11. 21.

Advanced Neural Network Applications참고 문헌 22인용 수 58

한 줄 요약

HAQ는 하드웨어 시뮬레이터를 통해 실시간 하드웨어 피드백(지연 및 에너지 소비)을 통합함으로써 DNN의 최적 혼합 정밀도 양자화 정책을 자동으로 결정하는 강화학습 기반 프레임워크를 제안한다. 이는 8비트 양자화 대비 평균 1.4–1.95배의 지연 감소와 1.9배의 에너지 절감을 달성하며 정확도 손실은 최소화한다. 또한 엣지와 클라우드 하드웨어 아키텍처 간에 상이한 최적 정책이 존재함을 드러낸다.

ABSTRACT

Model quantization is a widely used technique to compress and accelerate deep neural network (DNN) inference. Emergent DNN hardware accelerators begin to support mixed precision (1-8 bits) to further improve the computation efficiency, which raises a great challenge to find the optimal bitwidth for each layer: it requires domain experts to explore the vast design space trading off among accuracy, latency, energy, and model size, which is both time-consuming and sub-optimal. Conventional quantization algorithm ignores the different hardware architectures and quantizes all the layers in a uniform way. In this paper, we introduce the Hardware-Aware Automated Quantization (HAQ) framework which leverages the reinforcement learning to automatically determine the quantization policy, and we take the hardware accelerator's feedback in the design loop. Rather than relying on proxy signals such as FLOPs and model size, we employ a hardware simulator to generate direct feedback signals (latency and energy) to the RL agent. Compared with conventional methods, our framework is fully automated and can specialize the quantization policy for different neural network architectures and hardware architectures. Our framework effectively reduced the latency by 1.4-1.95x and the energy consumption by 1.9x with negligible loss of accuracy compared with the fixed bitwidth (8 bits) quantization. Our framework reveals that the optimal policies on different hardware architectures (i.e., edge and cloud architectures) under different resource constraints (i.e., latency, energy and model size) are drastically different. We interpreted the implication of different quantization policies, which offer insights for both neural network architecture design and hardware architecture design.

연구 동기 및 목표

• 다양한 하드웨어 가속기에서 혼합 정밀도 양자화의 광범위한 설계 공간을 수동으로 탐색하는 도전 과제를 해결하기 위해.
• 일반적인 양자화 방법이 동일한 비트 폭을 적용하고 하드웨어 특화 성능 특성을 忽시하는 한계를 극복하기 위해.
• 지연, 에너지 효율성, 모델 크기, 정확도를 동시에 최적화하는 자동화된 하드웨어 특화 양자화 정책을 제공하기 위해.
• 자원 제약 조건이 다양한 상황에서 엣지와 클라우드 하드웨어 아키텍처 간에 본질적으로 다른 양자화 전략이 요구됨을 밝혀내기 위해.

제안 방법

• DNN 레이어별로 1–8비트의 최적 비트 폭을 탐색하기 위해 강화학습 에이전트를 활용한다.
• 지연 및 에너지 소비에 대한 직접 피드백을 제공하기 위해 하드웨어 시뮬레이터를 RL 루프에 통합하여 FLOPs와 같은 대체 지표를 대체한다.
• 모델 정확도, 지연, 에너지 효율성, 모델 크기를 균형 잡는 보상 함수를 사용해 RL 에이전트를 훈련시킨다.
• 하드웨어 피드백 기반으로 양자화 정책을 최적화하기 위해 정책 기반 강화학습 방법(예: REINFORCE 또는 PPO)을 사용한다.
• 목표 하드웨어 가속기와 함께 공동 설계함으로써 종단 간 자동화를 지원한다.
• 다양한 모델 세트에서 훈련을 통해 학습된 정책의 이식 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 하드웨어 인식 양자화를 통해 강화학습을 적용할 경우, 고정 정밀도 양자화 대비 추론 효율성이 어떻게 향상되는가?
• RQ2 자원 제약 조건이 다양한 상황에서 엣지와 클라우드 하드웨어 아키텍처 간 최적의 양자화 정책에 어떤 차이가 있는가?
• RQ3 하드웨어 시뮬레이터에서 유도된 피드백이 FLOPs와 같은 대체 지표를 지도로 사용하는 데 얼마나 효과적으로 대체될 수 있는가?
• RQ4 제안된 프레임워크는 지연과 에너지 소비를 줄이면서도 정확도를 어떻게 유지하는가?

주요 결과

• HAQ는 다양한 모델과 하드웨어 플랫폼에서 8비트 고정 정밀도 양자화 대비 추론 지연을 평균 1.4배에서 1.95배까지 감소시켰다.
• 에너지 소비는 평균 1.9배 감소하여 정확도 저하 없이 뚜렷한 효율성 향상을 보였다.
• 최적의 양자화 정책은 엣지와 클라우드 하드웨어 간에 극명하게 다름을 보여, 일률적인 양자화 전략은 최적화되지 않았음을 시사한다.
• 하드웨어 특화 피드백을 통해 시뮬레이터에서 유도된 정보가 대체 지표 기반 정책보다 더 효율적인 비트 폭 할당을 가능하게 했다.
• 프레임워크는 혼합 정밀도 정책가 목표 하드웨어 특성에 매우 민감함을 드러내며 하드웨어 및 신경망 아키텍처 공동 설계에 실질적인 통찰을 제공한다.
• 완전 정밀도 모델과 거의 동일한 정확도를 유지하면서도 모델 크기와 계산 비용을 크게 줄였다.