[논문 리뷰] Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks

Ruihao Gong, Xianglong Liu외 6명|arXiv (Cornell University)|2019. 08. 14.

Advanced Neural Network Applications참고 문헌 37인용 수 60

한 줄 요약

DSQ는 완정밀도와 저비트 네트워크를 잇는 미분 가능하고 진화하는 소프트 양자화를 도입하여 1–4 비트 양자화에서 학습 안정성과 정확도를 향상시키고 ARM 배포를 더 빠르게 할 수 있게 한다.

ABSTRACT

Hardware-friendly network quantization (e.g., binary/uniform quantization) can efficiently accelerate the inference and meanwhile reduce memory consumption of the deep neural networks, which is crucial for model deployment on resource-limited devices like mobile phones. However, due to the discreteness of low-bit quantization, existing quantization methods often face the unstable training process and severe performance degradation. To address this problem, in this paper we propose Differentiable Soft Quantization (DSQ) to bridge the gap between the full-precision and low-bit networks. DSQ can automatically evolve during training to gradually approximate the standard quantization. Owing to its differentiable property, DSQ can help pursue the accurate gradients in backward propagation, and reduce the quantization loss in forward process with an appropriate clipping range. Extensive experiments over several popular network structures show that training low-bit neural networks with DSQ can consistently outperform state-of-the-art quantization methods. Besides, our first efficient implementation for deploying 2 to 4-bit DSQ on devices with ARM architecture achieves up to 1.7$ imes$ speed up, compared with the open-source 8-bit high-performance inference framework NCNN. [31]

연구 동기 및 목표

• 이산성과 기울기 불일치로 인한 저비트 네트워크 학습의 도전 과제를 동기 부여한다.
• 학습 중에 표준 양자화를 점진적으로 근사하는 미분 가능 양자화 함수를 제안한다.
• 클리핑과 반올림 오차의 균형을 맞춰 양자화 손실을 줄인다.
• 효율적인 2–4 비트 커널로 하드웨어 친화적 배치를 가능하게 한다.
• 이진 및 균일 양자화와 호환되는 유연한 프레임워크를 제공한다.

제안 방법

• 표형 tanh 기반 함수들로 구성된 미분 가능 점근 양자기를 정의하여 표준 양자화를 근사한다.
• DSQ의 근사 품질을 제어하는 특성 변수 alpha를 도입하고 학습 중에 alpha를 최적화하는 진화 학습 전략을 제시한다.
• 클리핑 경계값 (l과 u)와 alpha를 함께 최적화하여 클리핑 오차와 반올림 오차의 균형을 맞춘다.
• DSQ-활성화 네트워크의 학습을 위한 역전파 방정식과 알고리즘을 제공한다.
• 배치를 위한 ARM NEON에서의 하드웨어 효율적인 2–4 비트 GEMM 커널을 시연한다.

실험 결과

연구 질문

• RQ1 양자화를 학습 중 정확한 그래디언트를 제공하도록 어떻게 미분 가능하게 만들 수 있을까?
• RQ2 진화하는 양자화 함수가 학습 불안정을 초래하지 않으면서 완정밀도와 저비트 네트워크를 연결할 수 있을까?
• RQ3 클리핑 경계값과 근사 강도를 어떻게 관리하여 클리핑 오차와 반올림 오차의 균형을 맞출 수 있을까?
• RQ4 일반 아키텍처에서 DSQ를 사용했을 때 CIFAR-10과 ImageNet에서 어떤 성능 향상을 얻을 수 있을까?
• RQ5 DSQ가 이진 양자화와 균일 양자화 모두 및 기존의 양자화 방법과 호환되는가?

주요 결과

• DSQ는 CIFAR-10과 ImageNet 전반에 걸쳐 최첨단 양자화 방식보다 일관되게 정확도를 향상시킨다.
• alpha의 진화는 DSQ가 표준 양자화를 점진적으로 근사하도록 도와 수렴성과 안정성을 향상시킨다.
• 클리핑 값과 alpha의 공동 최적화가 클리핑 오차와 반올림 오차의 균형을 맞추어 양자화 손실을 줄인다.
• DSQ는 1/1 비트 양자화 성능을 향상시키고 PACT와 같은 방법을 보완하여 더 높은 top-1/top-5 정확도를 달성한다.
• 효율적인 2–4 비트 ARM NEON 커널은 추론 속도를 높이며 ARM 하드웨어에서 기존 오픈 소스 프레임워크를 능가한다.