[论文解读] Computational Cost Reduction in Learned Transform Classifications

Emerson Lopes Machado, Cristiano Jacques Miosso+5 more|arXiv (Cornell University)|Apr 26, 2015

Analog and Mixed-Signal Circuit Design参考文献 25被引用 3

一句话总结

本文提出 xQuant，一套通过将浮点数运算替换为整数运算和位移操作来降低基于学习变换的分类器计算成本的技术。通过将字典和分类器权重量化为2的幂次、剪枝低幅值条目，并使用整数输入，该方法实现了极低功耗FPGA部署，且精度损失极小——在LAST分类器上实现高达50%的位宽缩减，甚至在某些数据集上实现更高的精度。

ABSTRACT

We present a theoretical analysis and empirical evaluations of a novel set of techniques for computational cost reduction of classifiers that are based on learned transform and soft-threshold. By modifying optimization procedures for dictionary and classifier training, as well as the resulting dictionary entries, our techniques allow to reduce the bit precision and to replace each floating-point multiplication by a single integer bit shift. We also show how the optimization algorithms in some dictionary training methods can be modified to penalize higher-energy dictionaries. We applied our techniques with the classifier Learning Algorithm for Soft-Thresholding, testing on the datasets used in its original paper. Our results indicate it is feasible to use solely sums and bit shifts of integers to classify at test time with a limited reduction of the classification accuracy. These low power operations are a valuable trade off in FPGA implementations as they increase the classification throughput while decrease both energy consumption and manufacturing cost.

研究动机与目标

• 解决基于学习变换的图像分类器中浮点数运算带来的高计算与高能耗问题，尤其针对嵌入式系统与FPGA实现。
• 降低字典与分类器参数的动态范围，以支持低精度整数计算，同时避免显著的精度下降。
• 通过将乘法替换为位移操作并直接使用来自ADC的整数输入，实现高效的硬件映射。
• 通过2的幂次量化与字典条目的硬阈值化，提升泛化能力并减少过拟合。
• 开发一个通用且可重用的框架，可扩展至其他基于矩阵-向量学习模型（如ELM与DNN），而不仅限于LAST分类器。

提出的方法

• 在字典与分类器训练过程中应用ℓ₂范数正则化，以减小条目动态范围，偏好低能量表示。
• 使用硬阈值化方法将绝对值低于学习阈值的字典条目置零，提升稀疏性并减少计算量。
• 将浮点数输入替换为直接从模数转换器（ADC）获取的整数表示，消除归一化与高成本缩放操作。
• 通过将变换字典𝐷与分类器权重向量𝐰的每个条目近似为最近的2的幂次，实现乘法操作向位移操作的替换。
• 将这些技术整合至推理阶段的测试时流水线中，将所有浮点数乘法替换为整数加法与位移操作。
• 将完整的xQuant框架应用于学习软阈值化算法（LAST）分类器，并使用其原始评估中相同的测试数据集。

实验结果

研究问题

• RQ1 能否通过将浮点数运算替换为整数运算与位移操作，使基于学习变换的分类器在FPGA上实现计算高效？
• RQ2 在字典与分类器权重中实现动态范围缩减与稀疏化，能在多大程度上保持分类精度？
• RQ3 将字典与分类器参数量化为2的幂次，是否能在资源受限环境下提升泛化能力并减少过拟合？
• RQ4 能否直接使用来自ADC的整数输入进行推理，而无需归一化，同时保持精度并降低计算成本？
• RQ5 在多种图像数据集上，所提出的xQuant框架在精度与效率方面相较于原始浮点数LAST分类器表现如何？

主要发现

• xQuant框架在所有测试数据集上将表示矩阵-向量积𝐷ᵀ𝑋 所需的位数减少了近50%，显著降低了硬件资源需求。
• 在MNIST与CIFAR-10数据集上，分类精度保持在可接受范围内，与原始浮点数模型相比仅出现轻微的错误率增加。
• 在bark_woodgrain数据集上，xQuant方法意外地提升了分类精度，表明2的幂次量化可能因减少过拟合而带来性能增益。
• 直接使用来自ADC的整数输入消除了归一化步骤，仅通过加法与位移操作即可实现高效计算，显著降低了FPGA设计中的能耗与面积开销。
• 动态范围缩减、稀疏化与2的幂次量化相结合，实现了浮点数乘法的完全替代，通过位移操作达成高吞吐量与低功耗。
• 所提出的技术具有通用性，可应用于其他基于矩阵-向量的分类器（如ELM与DNN），不限于LAST框架。