[论文解读] An Empirical Study of Low Precision Quantization for TinyML

Shaojie Zhuo, Hongyu Chen+6 more|arXiv (Cornell University)|Mar 10, 2022

Advanced Image and Video Retrieval Techniques被引用 12

一句话总结

本文提出了一项针对tinyML模型后训练量化（PTQ）的全面实证基准研究，采用统一的仿真框架，在多种tinyML工作负载上评估了1–8比特的低比特量化。研究发现4W4A是平衡内存与计算节省（分别达50%和75%）与最小精度损失（<5%）的理想选择，同时揭示了关键设计选择（如opt_round和逐层优化）对低精度量化性能的显著影响。

ABSTRACT

Tiny machine learning (tinyML) has emerged during the past few years aiming to deploy machine learning models to embedded AI processors with highly constrained memory and computation capacity. Low precision quantization is an important model compression technique that can greatly reduce both memory consumption and computation cost of model inference. In this study, we focus on post-training quantization (PTQ) algorithms that quantize a model to low-bit (less than 8-bit) precision with only a small set of calibration data and benchmark them on different tinyML use cases. To achieve a fair comparison, we build a simulated quantization framework to investigate recent PTQ algorithms. Furthermore, we break down those algorithms into essential components and re-assembled a generic PTQ pipeline. With ablation study on different alternatives of components in the pipeline, we reveal key design choices when performing low precision quantization. We hope this work could provide useful data points and shed lights on the future research of low precision quantization.

研究动机与目标

• 为了在资源受限的条件下，对近期后训练量化（PTQ）算法在tinyML模型上的表现进行公平评估。
• 为了识别PTQ流程中影响低精度设置下精度与效率的关键设计选择。
• 为了量化在超低精度（1–4比特）下，模型精度、内存占用与计算成本之间的权衡关系。
• 为未来研究和tinyML部署中的系统级支持提供可操作的洞见。

提出的方法

• 开发了一种模拟量化框架，以实现对多种模型和比特宽度下PTQ算法的公平、可复现的比较。
• 通过将算法分解为核心组件（量化方案、初始化方法、优化策略和后处理），构建了一个通用且模块化的PTQ流程。
• 该流程支持对称逐通道权重量化和非对称逐张量激活量化，并可配置校准与优化选项。
• 通过消融研究系统评估组件替代方案（如opt_round与直通估计、MSE与L2初始化）的影响，以隔离性能差异。
• 报告了从8比特到2比特量化级别下的端到端精度、内存与计算节省（通过BOP和峰值内存测量）。
• 该框架支持无数据和小校准数据量的PTQ，模拟真实tinyML部署约束条件。

实验结果

研究问题

• RQ1 当将recent PTQ算法应用于tinyML模型进行低比特精度（1–8比特）量化时，其表现如何？
• RQ2 在低精度设置下，哪些算法组件对量化精度影响最大？
• RQ3 在tinyML中使用超低精度（如2W2A）时，模型精度、内存占用与计算成本之间的权衡关系是什么？
• RQ4 4W4A是否可被视为在实现内存与计算节省的同时，精度损失最小化的实用理想点？

主要发现

• 4W4A量化级别在大多数tinyML模型上实现了约50%的内存节省和75%的计算节省（通过BOP测量），精度损失低于5%。
• 对于CIFAR10，最佳PTQ流程在2W2A下达到69.40%的精度，相比全精度基线下降17.5%。
• opt_round量化优化方法始终优于标准舍入，尤其在超低比特宽度下表现更优，表明其在最小化量化噪声方面的重要性。
• 结合偏置调优的逐层优化显著提升了精度，尤其在更深或更复杂的tinyML架构中效果明显。
• 部分模型（如UCI-HAR CNN）在2W2A量化下精度损失低于2%，表明其具备模型/任务特定的鲁棒性。
• 现有推理框架（如TensorFlow Lite Micro、STM32Cube.AI）缺乏对子8比特量化的原生支持，导致超低精度部署存在关键缺口。