[논문 리뷰] AUSN: Approximately Uniform Quantization by Adaptively Superimposing Non-uniform Distribution for Deep Neural Networks

Fangxin Liu, Wenbo Zhao외 3명|arXiv (Cornell University)|2020. 07. 08.

Image and Signal Denoising Methods참고 문헌 31인용 수 4

한 줄 요약

AUSN은 재학습이 필요 없이 고정밀도, 저비트 폭 추론을 가능하게 하는 새로운 양자화 프레임워크를 제안한다. 비균일 양자화된 값을 적응적으로 초월하여 균일 양자화를 근사함으로써, 재학습 없이도 DNN에서 고정밀도, 저비트 폭 추론을 실현한다. 디코더를 제거하고 시프트-어드 연산을 사용함으로써 FPGA에서 에너지 소비를 최대 2배 감소시키고 LUT/FF 자원을 최대 4.4배 절감한다. 이미지, 음성, 객체 검출 작업 전반에서 최신 기술 수준의 정확도를 유지하며, 4–5비트에서 작동한다.

ABSTRACT

Quantization is essential to simplify DNN inference in edge applications. Existing uniform and non-uniform quantization methods, however, exhibit an inherent conflict between the representing range and representing resolution, and thereby result in either underutilized bit-width or significant accuracy drop. Moreover, these methods encounter three drawbacks: i) the absence of a quantitative metric for in-depth analysis of the source of the quantization errors; ii) the limited focus on the image classification tasks based on CNNs; iii) the unawareness of the real hardware and energy consumption reduced by lowering the bit-width. In this paper, we first define two quantitative metrics, i.e., the Clipping Error and rounding error, to analyze the quantization error distribution. We observe that the boundary- and rounding- errors vary significantly across layers, models and tasks. Consequently, we propose a novel quantization method to quantize the weight and activation. The key idea is to Approximate the Uniform quantization by Adaptively Superposing multiple Non-uniform quantized values, namely AUSN. AUSN is consist of a decoder-free coding scheme that efficiently exploits the bit-width to its extreme, a superposition quantization algorithm that can adapt the coding scheme to different DNN layers, models and tasks without extra hardware design effort, and a rounding scheme that can eliminate the well-known bit-width overflow and re-quantization issues. Theoretical analysis~(see Appendix A) and accuracy evaluation on various DNN models of different tasks show the effectiveness and generalization of AUSN. The synthesis~(see Appendix B) results on FPGA show $2 imes$ reduction of the energy consumption, and $2 imes$ to $4 imes$ reduction of the hardware resource.

연구 동기 및 목표

• 저비트 양자화에서 표현 범위와 해상도 사이의 본질적 상충 관계를 해결함으로써 정확도 저하 또는 비트 폭의 낭비를 방지하기 위함.
• CNN을 초월해 다양한 DNN 작업—이미지 분류, 음성 인식, 객체 검출—에 적용 가능한 통합 양자화 프레임워크를 개발하기 위함.
• 디코더 오버헤드를 제거하고, 디코더 없는, 시프트-어드 기반의 인코딩 기법을 설계함으로써 엣지 가속기의 하드웨어 비용과 에너지 소비를 감소시키기 위함.
• 클리핑 및 반올림 오차를 정량적으로 분석함으로써 각 레이어에 대한 적응적 비트 할당을 가능하게 하기 위함.
• 양자화 비트 폭과 실제 하드웨어/에너지 효율성 간의 체계적인 연관성을 설정하여 가속기 설계에 기여하기 위함.

제안 방법

• AUSN은 비트 폭을 심볼 부분과 데이터 부분으로 분해하며, 데이터 부분은 '기본' 및 '분할' 구성 요소로 추가로 분할되어 표현 범위와 해상도를 제어한다.
• 다양한 비균일 양자화된 값의 초월을 통해 균일 양자화를 근사함으로써, 레이어 및 모델 간에 민첩하고 적응적인 표현이 가능해진다.
• 승수 연산을 시프트 및 어드 연산으로 대체하는 디코더 없는 인코딩 기법을 사용하여 하드웨어 복잡성과 에너지 소비를 크게 감소시킨다.
• 레이어별 가중치 분포에 기반해 비트 폭을 동적으로 재할당하는 적응적 비트 할당 기법을 통해 클리핑 및 반올림 오차를 최소화한다.
• 비트 폭 오버플로우 및 재양자화 오버헤드를 방지하기 위해 추론 중 일관된 정밀도를 확보하는 새로운 반올림 기법을 도입한다.
• 재학습 없이도 가중치 및 활성화 모두에 적용 가능하며, 다양한 모델과 작업에서 4–5비트 양자화를 지원한다.

실험 결과

연구 질문

• RQ1 정확도 또는 효율성 저하 없이 저비트 양자화에서 표현 범위와 해상도를 어떻게 균형 있게 조절할 수 있는가?
• RQ2 기존 방법에서 주요한 양자화 오차의 원인은 무엇이며, 이를 정량적으로 분석하고 완화할 수 있는가?
• RQ3 재학습 없이도 이미지, 음성, 객체 검출 작업 전반에 일반화 가능한 통합 양자화 프레임워크를 설계할 수 있는가?
• RQ4 고정밀도 표현을 유지하면서도 저비트 DNN 추론에서 디코더 오버헤드를 어떻게 제거할 수 있는가?
• RQ5 저비트 양자화의 실제 하드웨어 및 에너지 비용은 무엇이며, 알고리즘 설계를 통해 이를 어떻게 최소화할 수 있는가?

주요 결과

• AUSN은 이미지 분류(예: CIFAR-10에서 93.15% top-1), 음성 인식(음성 명령에서 93.17%), 객체 검출(COCO에서 31.6% mAP) 등 다양한 작업에서 4비트 및 5비트 양자화 시 최신 기술 수준의 정확도를 달성하며, 정확도 저하가 0.5% 미만이다.
• FPGA 기반에서 AUSN은 기준 8비트 구현 대비 에너지 소비를 1.9배 감소시키고, LUT는 2.0배, FF는 4.4배 감소시킨다.
• 디코더가 필요 없어지면서 시프트 및 어드 연산만으로도 하드웨어 우수한 계산이 가능해져 DSP 사용량과 논리 자원 오버헤드가 감소한다.
• 적응적 초월 기법은 레이어별 오차 특성에 기반해 비트 폭을 동적으로 할당하여, 최상위 정확도에서 클리핑 및 반올림 오차를 최대 0.47% 감소시킨다.
• 이론적 분석을 통해 AUSN은 정보 손실를 최소화하고, 양자화 정밀도와 하드웨어 효율성 간의 체계적인 상충 관계를 제공함을 입증한다.
• AUSN은 재학습 없이도 YOLOv3-tiny, CRNNs, TDNNs 등 다양한 모델과 작업에 일반화 가능하다.