[论文解读] Efficient Speech Representation Learning with Low-Bit Quantization

Ching-Feng Yeh, Wei-Ning Hsu+2 more|arXiv (Cornell University)|Dec 14, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

本论文通过低比特量化提出高效的语音表征学习方法，将鲁棒二值化Transformer（BiT）与压缩权重量化结合应用于HuBERT模型。在1-bit量化下，模型存储量减少86.32%（184.42→25.23 MB），运行时间减少88%（1.00→0.12），在2-bit设置下其效率与准确率均优于DistillHuBERT。

ABSTRACT

With the development of hardware for machine learning, newer models often come at the cost of both increased sizes and computational complexity. In effort to improve the efficiency for these models, we apply and investigate recent quantization techniques on speech representation learning models. The quantization techniques were evaluated on the SUPERB benchmark. On the ASR task, with aggressive quantization to 1 bit, we achieved 86.32% storage reduction (184.42 -> 25.23), 88% estimated runtime reduction (1.00 -> 0.12) with increased word error rate (7.06 -> 15.96). In comparison with DistillHuBERT which also aims for model compression, the 2-bit configuration yielded slightly smaller storage (35.84 vs. 46.98), better word error rate (12.68 vs. 13.37) and more efficient estimated runtime (0.15 vs. 0.73).

研究动机与目标

• 通过应用低比特量化技术减少存储与计算成本，提升语音表征学习中的模型效率。
• 研究在激进量化下模型效率与性能退化之间的权衡，尤其针对边缘设备部署场景。
• 评估量化（特别是二值化）是否能实现优于现有压缩方法（如知识蒸馏）的效率优势。
• 确定量化感知训练（QAT）与知识蒸馏在缓解低比特量化过程中的性能损失方面的作用。
• 比较一步量化与分阶段量化策略在极端低比特压缩下最小化性能退化的效果。

提出的方法

• 采用量化感知训练（QAT）结合直通估计器（STE），使梯度能够通过离散量化操作反向传播。
• 使用鲁棒二值化Transformer（BiT）将权重与激活均量化至1-bit，实现在仅支持整数运算硬件上的高效推理。
• 采用压缩权重量化方法，以减少低精度训练中的梯度消失问题，提升训练稳定性。
• 引入知识蒸馏，将全精度HuBERT模型的知识迁移至量化模型，最小化中间层与输出的差异。
• 对比一步量化（直接从fp16→目标比特）与分阶段量化（通过中间精度逐步降低）策略，评估训练稳定性。
• 在SUPERB基准上评估模型，测量存储量、运行时间与词错误率（WER），涵盖自动语音识别（ASR）及其他语音任务。

实验结果

研究问题

• RQ1 激进的1-bit量化是否能在不造成过度性能退化的情况下，显著减少语音表征模型的存储与运行时间？
• RQ2 在模型大小、推理速度与ASR准确率方面，低比特量化与现有模型压缩方法（如DistillHuBERT）相比表现如何？
• RQ3 知识蒸馏是否能通过对齐中间层表征，有效减少量化模型的性能退化？
• RQ4 在极端低比特压缩过程中，分阶段量化（多步降低）是否比一步量化更有效地保持模型准确率？
• RQ5 结合QAT与STE及压缩权重量化对二值化语音模型的鲁棒性有何影响？

主要发现

• 1-bit量化将模型存储量从184.42 MB减少至25.23 MB，实现86.32%的存储节省。
• 运行时间估计减少88%，从1.00降至0.12，表明1-bit量化可实现显著的推理加速。
• 2-bit BiT-LA-w2a2模型的词错误率为12.68%，优于相同规模的DistillHuBERT（13.37%）。
• 2-bit BiT-LA-w2a2模型仅使用35.84 MB存储空间，小于DistillHuBERT的46.98 MB，且推理速度更快（0.15 vs. 0.73的估计运行时间）。
• 知识蒸馏显著提升了量化模型的性能，将1-bit下的词错误率从18.93%（HuBERT损失）降低至15.96%（知识蒸馏）。
• 分阶段量化未在性能上显著优于一步量化，表明直接量化至目标字宽已足够。