[논문 리뷰] Differentiable Dynamic Quantization with Mixed Precision and Adaptive Resolution

Zhaoyang Zhang, Wenqi Shao외 3명|arXiv (Cornell University)|2021. 06. 04.

Advanced Neural Network Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 신경망의 각 레이어에서 최적의 양자화 파라미터—비트폭, 동적 범위, 스텝 사이즈—를 동시에 학습할 수 있는 완전히 미분 가능한 프레임워크인 Differentiable Dynamic Quantization (DDQ)를 제안한다. 기울기 기반 최적화를 통해 엔드 투 엔드 학습을 가능하게 함으로써, 특히 ImageNet에서 MobileNetV2의 손실 없는 4비트 양자화를 달성하는 최신 기술 수준의 정확도를 확보한다.

ABSTRACT

Model quantization is challenging due to many tedious hyper-parameters such as precision (bitwidth), dynamic range (minimum and maximum discrete values) and stepsize (interval between discrete values). Unlike prior arts that carefully tune these values, we present a fully differentiable approach to learn all of them, named Differentiable Dynamic Quantization (DDQ), which has several benefits. (1) DDQ is able to quantize challenging lightweight architectures like MobileNets, where different layers prefer different quantization parameters. (2) DDQ is hardware-friendly and can be easily implemented using low-precision matrix-vector multiplication, making it capable in many hardware such as ARM. (3) Extensive experiments show that DDQ outperforms prior arts on many networks and benchmarks, especially when models are already efficient and compact. e.g., DDQ is the first approach that achieves lossless 4-bit quantization for MobileNetV2 on ImageNet.

연구 동기 및 목표

• MobileNet과 같은 효율적인 아키텍처에 대해 고초기화 감도가 높은 모델 양자화 문제를 해결한다.
• 균일하거나 2의 거듭제곱 기반의 고정된 양자화 체계의 한계를 극복하여 경량 모델에서 나타나는 비정규적인 가중치 분포를 잘 포착하지 못하는 문제를 해결한다.
• 양자화 파라미터를 기울기 기반 최적화로 엔드 투 엔드로 최적화하여 양자화 오차를 최소화하고 모델 정확도를 유지한다.
• 저해상도 행렬-벡터 곱 연산을 사용해 하드웨어 우수한 양자화를 실현하여 ARM 및 기타 엣지 디바이스에 적합한 배포를 가능하게 한다.
• 특히 정확도 여유가 좁은 소형 모델에서 저비트 양자화의 학습 시간을 단축하고 정확도를 향상시킨다.

제안 방법

• 직선 전달 추정기(straight-through estimator)를 사용해 비미분 가능한 반올림 연산을 미분 가능한 근사로 대체함으로써, 양자화를 완전히 미분 가능한 함수로 수식화한다.
• 학습 중 역전파를 통해 각 레이어의 양자화 파라미터—비트폭, 스텝 사이즈, 동적 범위—를 학습한다.
• 특히 저비트 영역에서의 안정성 향상과 양자화 오차 감소를 위해 기울기 보정 메커니즘을 도입한다.
• 메모리 제약 조건 하에서 각 레이어의 비트폭을 다르게 설정할 수 있도록 혼합 정밀도 양자화를 지원한다.
• 비정규적인 가중치 분포(예: 정규분포, 꼬리가 두꺼운 분포, 双모달 분포 등)에 더 잘 맞는 비균일한 양자화 수준을 학습함으로써 적응형 해상도를 구현한다.
• 저정밀도 행렬-벡터 곱 연산을 활용해 하드웨어 우수한 양자화를 구현함으로써, 모바일 DSP 및 ARM 디바이스에서 효율적인 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전히 미분 가능한 양자화 프레임워크는 각 레이어에서 비트폭, 스텝 사이즈, 동적 범위를 동시에 최적화하여 양자화 오차를 최소화할 수 있는가?
• RQ2 비균일한 양자화 수준을 갖춘 적응형 해상도는 비정규적인 가중치 분포에서 균일하거나 2의 거듭제곱 기반 양자화기보다 정확도를 향상시키는가?
• RQ3 기울기 보정은 특히 2비트 및 4비트 양자화와 같은 저비트 영역에서 학습을 안정화시키고 양자화 오차를 감소시키는가?
• RQ4 DDQ는 ImageNet에서 MobileNetV2의 손실 없는 4비트 양자화를 달성하여 이전 최신 기술 수준의 방법을 초월하는가?
• RQ5 각 레이어의 비트폭을 학습하는 혼합 정밀도 양자화는 고정 정밀도 기반 베이스라인 대비 정확도와 효율성을 향상시키는가?

주요 결과

• DDQ는 ImageNet에서 MobileNetV2의 손실 없는 4비트 양자화를 달성하여 전체 정밀도 모델 대비 정확도 저하를 단 0.4%로 줄였다.
• DDQ는 최신 기술 수준의 양자화 방법 대비 학습 런타임을 25% 단축시키면서도 정확도를 유지하거나 향상시켰다.
• 기울기 보정을 적용한 DDQ는 평균 오차 0.35로 PACT+UQ 또는 PACT+PoT보다 낮은 양자화 오차를 기록했으며, 원래의 가중치 분포를 더 잘 반영했다.
• DDQ는 전체 정밀도 활성화를 요구하지 않고도 2비트 MobileNetV2를 성공적으로 양자화했으며, 이는 이전 방법으로는 달성하지 못한 능력이다.
• 모바일 DSP에서 DDQ는 40%의 저연산 지연을 기록했고, 전체 정밀도 모델 대비 71.9%의 Top-1 정확도를 확보했으며, UQ 기반 베이스라인 대비 3% 높은 정확도를 기록했다.
• 학습된 비트폭을 각 레이어에 적용한 혼합 정밀도 DDQ는 ImageNet에서 71.9%의 Top-1 정확도를 달성하여 고정 정밀도 기반 베이스라인을 초월했으며, 더 나은 메모리-정확도 트레이드오프를 가능하게 했다.