[논문 리뷰] Dataflow-based Joint Quantization of Weights and Activations for Deep Neural Networks

Xue Geng, Jie Fu외 5명|arXiv (Cornell University)|2019. 01. 04.

Advanced Neural Network Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 정보 손실과 하드웨어 비용을 최소화하면서 유한한 비트 시프트 및 반올림 연산만을 사용하여 딥 네ural 네트워크의 가중치와 활성화를 위한 데이터플로우 인식형, 동시 양자화 방법을 제안한다. 8비트 양자화로 최신 기술 수준의 정확도를 달성하며, 기준 방법 대비 에너지 소비를 약 9배 감소시키고 면적을 약 15배 감소시킨다.

ABSTRACT

This paper addresses a challenging problem - how to reduce energy consumption without incurring performance drop when deploying deep neural networks (DNNs) at the inference stage. In order to alleviate the computation and storage burdens, we propose a novel dataflow-based joint quantization approach with the hypothesis that a fewer number of quantization operations would incur less information loss and thus improve the final performance. It first introduces a quantization scheme with efficient bit-shifting and rounding operations to represent network parameters and activations in low precision. Then it restructures the network architectures to form unified modules for optimization on the quantized model. Extensive experiments on ImageNet and KITTI validate the effectiveness of our model, demonstrating that state-of-the-art results for various tasks can be achieved by this quantized model. Besides, we designed and synthesized an RTL model to measure the hardware costs among various quantization methods. For each quantization operation, it reduces area cost by about 15 times and energy consumption by about 9 times, compared to a strong baseline.

연구 동기 및 목표

• 정확도를 희생시키지 않은 채 엣지에 구현된 DNN의 에너지 소비를 줄이는 데 도전한다.
• 기존 저해상도 양자화 방법에서 성능 저하와 높은 하드웨어 비용 문제를 해결한다.
• 데이터플로우 인식형 모듈 재구성으로 양자화 연산 횟수를 줄여 정보 손실을 최소화한다.
• 비트 시프트와 반올림만을 사용한 하드웨어 우수한 양자화 기법을 설계하여 효율적인 추론을 구현한다.
• 시간이 오래 소요되는 정밀 조정 단계 없이도 높은 정확도의 양자화 모델을 달성한다.

제안 방법

• 비트 시프트와 반올림을 사용해 부동소수점 값을 저해상도 정수로 매핑하는 양자화 함수 Q(r; Nr, n_bits)를 도입하며, Nr가 유일한 조정 가능한 파라미터이다.
• 가중치, 편향, 입력 및 출력 활성화에 대해 각각 별도의 분수 비트 폭(Nr)을 적용하여 다이내믹 레인지 유지.
• 양자화 연산 횟수를 줄이기 위해 데이터플로우 기반으로 네트워크를 통합된 모듈로 재구성.
• 이러한 모듈에 대해 공동 재구성 오차 손실 함수를 적용하여 양자화된 파라미터를 종단 간 최적화.
• 배치 정규화 레이어를 컨볼루션 연산에 통합하여 계산량과 메모리 액세스를 추가로 감소시킴.
• 추론 시에만 정수 연산을 사용하여 최소한의 계산 오버헤드로 효율적인 하드웨어 매핑을 가능하게 함.

실험 결과

연구 질문

• RQ1 저해상도 DNN에서 양자화 연산 횟수를 줄이면 정확도 향상에 기여할 수 있는가?
• RQ2 비트 시프트 기반 양자화 기법은 승수 기반 스케일링 대비 하드웨어 효율성에서 어떻게 비교되는가?
• RQ3 데이터플로우 인식형 모듈 설계를 통한 가중치와 활성화의 동시 최적화로 정밀 조정 단계가 필요 없어지는가?
• RQ4 RTL에서 구현했을 때 다양한 양자화 연산의 하드웨어 비용(면적 및 에너지)은 어떻게 되는가?
• RQ5 제안된 방법은 ImageNet 및 KITTI와 같은 표준 벤치마크에서 최신 기술 수준의 양자화 기법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 8비트 양자화를 사용해 ResNet 기반 ImageNet과 Faster R-CNN 기반 KITTI에서 최신 기술 수준의 정확도를 달성한다.
• 8비트 양자화 모델은 전체 정밀도 부동소수점 모델 대비 계산량과 메모리 액세스를 약 4배 감소시킨다.
• 비트 시프트 연산은 강력한 기준 방법(스케일링 인자 사용) 대비 에너지 소비를 약 9배 감소시키고 면적을 약 15배 감소시킨다.
• 코드북 기반 방법은 비트 시프트 대비 면적을 약 11.5배 더 소비하고 에너지를 약 14.8배 더 소비하여 가장 높은 하드웨어 비용을 유발한다.
• 공동 재구성 오차 손실 함수는 별도의 정밀 조정 단계 없이도 정확한 양자화 모델 학습을 가능하게 한다.
• 심화된 잔차 블록에서 잔차 덧셈 유닛에서 누적된 양자화 영향으로 인해 MSE가 증가한다.