[논문 리뷰] HAQ: Hardware-Aware Automated Quantization with Mixed Precision

Kuan Wang, Zhijian Liu외 3명|arXiv (Cornell University)|2018. 11. 21.

Advanced Neural Network Applications참고 문헌 29인용 수 49

한 줄 요약

HAQ는 하드웨어-루프를 포함한 강화 학습을 사용하여 계층마다 혼합 정밀도 비트폭을 자동으로 할당하고, 에지와 클라우드 가속기에서 지연 시간, 에너지, 모델 크기를 최적화합니다. 이를 통해 하드웨어 특화 양자화 정책을 최소한의 정확도 손실로 제공합니다.

ABSTRACT

Model quantization is a widely used technique to compress and accelerate deep neural network (DNN) inference. Emergent DNN hardware accelerators begin to support mixed precision (1-8 bits) to further improve the computation efficiency, which raises a great challenge to find the optimal bitwidth for each layer: it requires domain experts to explore the vast design space trading off among accuracy, latency, energy, and model size, which is both time-consuming and sub-optimal. Conventional quantization algorithm ignores the different hardware architectures and quantizes all the layers in a uniform way. In this paper, we introduce the Hardware-Aware Automated Quantization (HAQ) framework which leverages the reinforcement learning to automatically determine the quantization policy, and we take the hardware accelerator's feedback in the design loop. Rather than relying on proxy signals such as FLOPs and model size, we employ a hardware simulator to generate direct feedback signals (latency and energy) to the RL agent. Compared with conventional methods, our framework is fully automated and can specialize the quantization policy for different neural network architectures and hardware architectures. Our framework effectively reduced the latency by 1.4-1.95x and the energy consumption by 1.9x with negligible loss of accuracy compared with the fixed bitwidth (8 bits) quantization. Our framework reveals that the optimal policies on different hardware architectures (i.e., edge and cloud architectures) under different resource constraints (i.e., latency, energy and model size) are drastically different. We interpreted the implication of different quantization policies, which offer insights for both neural network architecture design and hardware architecture design.

연구 동기 및 목표

• 계층별 혼합 정밀도 양자화 정책을 인간의 휴리스틱 없이 자동으로 탐색합니다.
• 실제 하드웨어 메트릭을 최적화 루프에 직접 반영하기 위해 하드웨어 피드백을 포함합니다.
• 다양한 하드웨어 아키텍처(에지 vs. 클라우드) 전반에 걸친 양자화 정책의 특화 여부를 입증합니다.
• 다양한 하드웨어 특성이 최적의 양자화 전략에 어떤 영향을 미치는지에 대한 통찰을 제공합니다.

제안 방법

• 양자화를 DDPG 에이전트를 사용한 강화 학습 문제로 공식화합니다.
• 계층별 연속 액션 공간을 사용하여 각 계층의 비트폭을 선택한 후 {2,4,6,8} 비트로 이산화합니다.
• 정책 최적화의 제약으로 하드웨어 가속기로부터 직결된 지연 및 에너지 피드백을 수집합니다.
• 가중치/활성화를 계층별 비트폭으로 선형 양자화하고 가중치에 대해 KL-발산 기반 클리핑을 사용합니다.
• 양자화된 모델을 한 에폭 재학습하고 검증 정확도를 RL 보상으로 사용합니다(스케일링).
• 다수의 하드웨어 설정(에지/클라우드, 공간적/시간적 아키텍처)을 통해 정책을 탐색하여 특화된 전략을 학습합니다.

실험 결과

연구 질문

• RQ1 하드웨어 인식 강화 학습이 서로 다른 하드웨어 아키텍처에 대해 계층별 최적의 비트폭을 자동으로 발견할 수 있는가?
• RQ2 양자화 정책을 특정 하드웨어에 특화시키면 지연/에너지에서 상당한 이점을 얻고 정확도 손실은 무시할 수 있는가?
• RQ3 리소스 제약(지연, 에너지, 모델 크기)이 계층 간 학습된 비트폭 배정에 어떤 영향을 미치는가?
• RQ4 에지 대 클라우드 및 다양한 가속기 설계에서 학습된 정책으로부터 신경망 및 하드웨어 설계에 관한 어떤 통찰이 도출되는가?

주요 결과

• HAQ는 지연을 1.4×~1.95× 감소시키고 에너지를 약 1.9× 감소시키며 정확도 손실은 무시할 만큼 작다.
• 최적 양자화 정책은 하드웨어 아키텍처(에지 vs. 클라우드, BISMO vs. BitFusion)에 따라 크게 달라지며 하드웨어별 최적화의 필요성을 시사한다.
• Depthwise와 pointwise 계층은 지연, 에너지 또는 모델 크기를 최적화하는지에 따라 다른 비트폭 배정을 보이며 이는 메모리 대 컴퓨트 병목을 반영한다.
• 룰 기반 기준선(예: PACT, Deep Compression)과 비교할 때, HAQ는 다양한 제약 하에서 유사하거나 더 작은 모델 크기에서도 더 높은 정확도를 달성한다.
• 학습된 정책은 루프라인 모델(Roofline-model) 추론과 일치하며, 대상 하드웨어의 메모리 대역폭 및 계산 용량에 따라 계층별 전략이 달라진다고 설명한다.