[논문 리뷰] Quantization-Guided Training for Compact TinyML Models

Sedigh Ghamari, Koray Özcan외 5명|arXiv (Cornell University)|2021. 03. 10.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 양자화 버킷에 가중치를 유도하는 손실 함수 내 맞춤형 정규화를 사용하는 Quantization-Guided Training (QGT)을 제안한다. 이는 양자화 오차를 줄이고 극한의 모델 압축을 가능하게 한다. QGT는 2비트 정밀도에서 사람 탐지 모델의 크기를 17.7배 압축(81KB)하면서도 FP32 대비 정확도 손실이 3%에 불과하다.

ABSTRACT

We propose a Quantization Guided Training (QGT) method to guide DNN training towards optimized low-bit-precision targets and reach extreme compression levels below 8-bit precision. Unlike standard quantization-aware training (QAT) approaches, QGT uses customized regularization to encourage weight values towards a distribution that maximizes accuracy while reducing quantization errors. One of the main benefits of this approach is the ability to identify compression bottlenecks. We validate QGT using state-of-the-art model architectures on vision datasets. We also demonstrate the effectiveness of QGT with an 81KB tiny model for person detection down to 2-bit precision (representing 17.7x size reduction), while maintaining an accuracy drop of only 3% compared to a floating-point baseline.

연구 동기 및 목표

• 에지 배포를 위한 고정밀도 유지 조건에서 8비트 이하의 극한의 모델 압축을 달성하는 데 도전한다.
• 표준 양자화 인식 학습(QAT)의 한계를 극복하기 위해 직접적으로 가중치 분포를 양자화 버킷 쪽으로 유도한다.
• 투명한 양자화 오차 모니터링을 통해 모델 레이어 내에서 본질적으로 양자화에 저항하는 요소를 식별하고 폭 드러낸다.
• 침습적인 프레임워크 수정 없이도 기존 학습 파이프라인에 원활하게 통합할 수 있도록 한다.
• 실제 타이니ML 응용 분야(예: 사람 탐지)에 적합한 초소형, 저비트 정밀도 모델(예: 2비트)의 구현 가능성을 입증한다.

제안 방법

• 손실 함수에 가중치 값이 양자화 버킷에서 멀리 떨어져 있을 경우를 방지하는 정규화 항을 도입하여 최적의 양자화 수준 주변에 집중되도록 유도한다.
• 정규화의 대상으로 복소화된 가중치를 사용함으로써 스케일 및 제로 포인트 파rameter를 별도로 학습할 필요 없이 처리한다.
• 탄력적인 정규화 설계를 통해 맞춤형 하드웨어와 호환되는 비선형 양자화 방식을 적용한다.
• 역전파 동안 정규화 항을 소프트 제약 조건으로 통합하여 비트 정밀도 및 모델 깊이에 따라 동적으로 조정한다.
• 기존의 압축 기법(예: 프루닝 및 혼합 정밀도 양자화)과 QGT를 조합하여 추가적인 크기 압축을 달성한다.
• 수렴 속도와 양자화 정확도 사이의 트레이드오프를 제어하기 위해 정규화 강도 하이퍼파rameter λ를 조정한다.

실험 결과

연구 질문

• RQ1 저비트 정밀도에서 표준 QAT에 비해 정규화 기반 학습이 DNN 가중치를 양자화 버킷 쪽으로 더 효과적으로 유도할 수 있는가?
• RQ2 2비트 정밀도에서 QGT는 PTQ 및 QAT에 비해 정확도와 모델 크기 측면에서 어떻게 비교되는가?
• RQ3 QGT는 본질적으로 양자화에 저항하는 성향이 있는 레이어(양자화 블로킹 요소)를 식별하고 폭 드러낼 수 있는가?
• RQ4 기존 학습 방식에 비해 QGT는 학습 시간을 얼마나 줄이고 수렴을 얼마나 향상시킬 수 있는가?
• RQ5 QGT는 실생활 타이니ML 응용 분야에 적합한 100KB 미만의 모델을 2비트 정밀도에서 정확도를 유지하면서 구현할 수 있는가?

주요 결과

• QGT는 2비트 정밀도에서 사람 탐지 모델의 크기를 17.7배 압축(81KB)하여 FP32 기준 1440KB 대비 압축을 달성했다.
• QGT로 학습된 2비트 모델은 MobileNet V2에서 87.3%의 정확도를 유지하였으며, FP32 모델의 90.4%에 비해 3.1%p 감소했다.
• PTQ에 비해 QGT는 MobileNet V2에서 2비트 정밀도에서 정확도를 18.9% 향상시켰으며, 정확도 격차를 22.0%p에서 3.1%p로 줄였다.
• QGT는 이전의 8비트 사람 탐지 모델들(예: Chowdhery 등, 2019년의 250KB)에 비해 3배의 압축 이점을 제공하며, 2비트에서 81KB의 크기로 도달했다.
• ARM A72 프로세서에서 QGT 기반 8비트 추론은 FP32 대비 약 5배의 지연 감소를 기록했으며, MobileNet V1 기준 246 FPS를 달성했다.
• QGT의 정규화 메커니즘은 동적 학습률처럼 작용하여 수렴 속도와 해 공간 탐색 제어를 가능하게 한다.