[论文解读] Compression of Acoustic Event Detection Models with Low-rank Matrix Factorization and Quantization Training

Bowen Shi, Ming Sun+4 more|arXiv (Cornell University)|May 2, 2019

Music and Audio Processing参考文献 15被引用 11

一句话总结

该论文提出了一种混合模型压缩技术，结合SVD的低秩矩阵分解与量化训练，以极小的精度损失将基于LSTM的声学事件检测（AED）模型尺寸大幅缩减。通过应用SVD压缩循环权重矩阵并结合量化训练进行微调，该方法可将模型大小减少至原始大小的1%，同时在AED任务上保持接近最先进水平的性能。

ABSTRACT

In this paper, we present a compression approach based on the combination of low-rank matrix factorization and quantization training, to reduce complexity for neural network based acoustic event detection (AED) models. Our experimental results show this combined compression approach is very effective. For a three-layer long short-term memory (LSTM) based AED model, the original model size can be reduced to 1% with negligible loss of accuracy. Our approach enables the feasibility of deploying AED for resource-constraint applications.

研究动机与目标

• 解决在资源受限的工业环境中部署大型、计算密集型深度学习AED模型的挑战。
• 在不显著降低精度的前提下，减小基于LSTM的AED系统的模型尺寸与推理成本。
• 探究结合低秩矩阵分解与量化训练作为联合压缩策略的有效性。
• 证明在内存与算力有限的边缘设备上部署压缩后AED模型的可行性。

提出的方法

• 使用截断奇异值分解（SVD）对三层LSTM的循环权重矩阵（$W_h^l$）进行低秩矩阵分解，仅保留前$r$个奇异值与奇异向量。
• 将SVD中$W_h^l$的右奇异向量（$V_{h}^{lr}$）共享给输入权重矩阵$W_x^l$，将其近似为$Z_x^l \tilde{V}_{h}^{lr^T}$，以减少参数数量。
• 采用对称量化函数$Q_n(\mathbf{V}) = \alpha \hat{Q}_n(\hat{\mathbf{V}}) + \beta$实施训练后量化，其中$\hat{\mathbf{V}} = (\mathbf{V} - \beta)/\alpha$，使用$n$位整数表示。
• 在微调过程中，使用直通估计器反向传播通过不可微的量化函数。
• 通过在量化后对模型进行微调，而非仅在推理阶段应用量化（即事后量化，PM），实现量化训练（QT）。
• 对分解后的矩阵$Z_h^l$、$Z_x^l$与$\tilde{V}_{h}^{lr}$进行量化，同时对网络输入也进行量化，以进一步压缩模型。

实验结果

研究问题

• RQ1 低秩矩阵分解与量化训练相结合是否能有效压缩基于LSTM的AED模型，同时保持检测精度？
• RQ2 奇异值保留比例（$\tau$）的选择如何影响低秩分解AED模型的精度与压缩率？
• RQ3 量化训练（QT）是否显著优于事后量化（PM），在压缩后保持模型性能？
• RQ4 结合低秩分解与量化时，可实现的最小模型尺寸是多少，同时保持可接受的精度损失？
• RQ5 不同位宽（如4位与8位）对量化AED模型性能有何影响，特别是在结合量化训练进行微调时？

主要发现

• 采用$\tau = 0.6$的低秩矩阵分解可将模型尺寸缩减至0.316 MB（原始大小的6%），且无显著精度损失，AUC与EER与全精度基线模型相当。
• 与8位量化训练（QT）结合后，模型尺寸进一步缩减至0.079 MB（原始大小的1.5%），平均AUC为6.33%，EER为13.26%，相比基线仅增加0.2% AUC与改善1.9% EER，表现优异。
• 对于4位量化，8位QT模型显著优于4位PM模型，EER分别为7.43%与19.24%，凸显量化后微调的必要性。
• 4位量化模型经QT处理后，模型尺寸仅为0.040 MB（原始大小的0.76%），平均AUC为8.17%，EER为14.94%，表明在适度精度损失下具备极强的压缩效率。
• 事后量化（PM）在低秩模型中导致显著性能下降，尤其在4位精度下（平均EER达23.48%），凸显量化后微调的重要性。
• 联合方法实现了98%的模型尺寸压缩（降至原始大小的1%），精度损失可忽略，使其在内存与计算资源有限的边缘设备上部署成为可能。