[논문 리뷰] An Empirical Study of Low Precision Quantization for TinyML

Shaojie Zhuo, Hongyu Chen외 6명|arXiv (Cornell University)|2022. 03. 10.

Advanced Image and Video Retrieval Techniques인용 수 12

한 줄 요약

이 논문은 다양한 tinyML 워크로드를 대상으로 1~8비트 저비트 양자화를 평가하기 위해 통합된 시뮬레이션 프레임워크를 사용하여, tinyML 모델을 위한 후학습 양자화(PTQ)에 대한 종합적인 실험 기준을 제시한다. 4W4A가 메모리/계산 자원 절감(50% 및 75%)과 최소한의 정확도 저하(<5%)를 동시에 달성하는 최적의 균형점임을 규명하였으며, opt_round 및 레이어별 최적화와 같은 핵심 설계 선택 사항이 저정밀도 양자화 성능에 크게 기여함을 드러냈다.

ABSTRACT

Tiny machine learning (tinyML) has emerged during the past few years aiming to deploy machine learning models to embedded AI processors with highly constrained memory and computation capacity. Low precision quantization is an important model compression technique that can greatly reduce both memory consumption and computation cost of model inference. In this study, we focus on post-training quantization (PTQ) algorithms that quantize a model to low-bit (less than 8-bit) precision with only a small set of calibration data and benchmark them on different tinyML use cases. To achieve a fair comparison, we build a simulated quantization framework to investigate recent PTQ algorithms. Furthermore, we break down those algorithms into essential components and re-assembled a generic PTQ pipeline. With ablation study on different alternatives of components in the pipeline, we reveal key design choices when performing low precision quantization. We hope this work could provide useful data points and shed lights on the future research of low precision quantization.

연구 동기 및 목표

• 제한된 자원을 가진 tinyML 모델에서 최근의 후학습 양자화(PTQ) 알고리즘을 공정하게 평가하기 위해.
• 저정밀도 환경에서 정확도와 효율성에 영향을 미치는 PTQ 파ip라인의 핵심 설계 선택 사항을 규명하기 위해.
• 초저정밀도(1~4비트)로 양자화할 경우 모델 정확도, 메모리 소비, 계산 비용 간의 상호 보완적 조건을 정량화하기 위해.
• 미래의 연구 및 tinyML 배포를 위한 시스템 수준의 지원을 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• 다양한 모델과 비트 폭에서 PTQ 알고리즘 간의 공정하고 재현 가능한 비교를 가능하게 하기 위해, 시뮬레이션 기반의 양자화 프레임워크를 개발하였다.
• 알고리즘을 핵심 구성 요소로 분해함으로써 일반적이고 모듈화된 PTQ 파이프라인을 구성하였다: 양자화 방식, 초기화 방법, 최적화 전략, 후처리.
• 대칭적 퍼채널 가중치 양자화와 비대칭적 퍼텐서 활성화 양자화를 지원하며, 캘리브레이션 및 최적화에 대해 구성 가능한 옵션을 제공한다.
• 성능 영향을 분리하기 위해, ablation 연구를 통해 구성 요소 대안(예: opt_round 대 직렬 전달, MSE 대 L2 초기화)을 체계적으로 평가하였다.
• 8비트에서 2비트까지의 양자화 수준에서 종단 간 정확도, 메모리 절감, 계산 자원 절감(배치 연산 수(BOP) 및 최대 메모리 소비 기준)를 보고하였다.
• 실제 tinyML 배포 환경의 제약 조건을 모방하기 위해 데이터 없음 및 소규모 캘리브레이션 데이터 기반의 PTQ를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 최근의 PTQ 알고리즘은 tinyML 모델을 저비트 정밀도(1~8비트)로 양자화할 때 어떻게 성능을 발휘하는가?
• RQ2 저정밀도 환경에서 양자화 정확도에 가장 큰 영향을 미치는 알고리즘 구성 요소는 무엇인가?
• RQ3 tinyML에서 초저정밀도(예: 2W2A)를 사용할 경우 모델 정확도, 메모리 프로필, 계산 비용 간의 상호 보완적 조건은 어떠한가?
• RQ4 4W4A는 정확도 저하를 최소화하면서 메모리 및 계산 자원 절감을 위한 실용적인 최적의 균형점으로 간주될 수 있는가?

주요 결과

• 4W4A 양자화 수준은 대부분의 tinyML 모델에서 약 50% 메모리 절감과 BOP 기준 75% 계산 자원 절감을 달성하며, 정확도 저하가 5% 미만이다.
• CIFAR10에서 최고의 PTQ 파이프라인이 2W2A에서 69.40%의 정확도를 기록하였으며, 이는 정밀도가 전체 정밀도 기준선 대비 17.5% 저하된 것이다.
• opt_round 양자화 최적화는 특히 초저비트 폭에서 표준 반올림보다 뚜렷이 뛰어난 성능을 보이며, 양자화 노이즈를 최소화하는 데 중요한 역할을 함을 시사한다.
• 편향 조정을 포함한 레이어별 최적화는 더 깊거나 더 복잡한 tinyML 아키텍처에서 정확도 향상에 크게 기여한다.
• UCI-HAR CNN과 같은 일부 모델은 2W2A 양자화에서도 정확도 저하가 2% 미만으로 내재된 것으로 나타나, 모델/작업 특화의 강건성을 시사한다.
• 기존 추론 프레임워크(예: TensorFlow Lite Micro, STM32Cube.AI)는 8비트 이하의 양자화를 네이티브로 지원하지 않아 초저정밀도 배포에 있어 심각한 격차가 존재한다.