[论文解读] ApproxDBN: Approximate Computing for Discriminative Deep Belief Networks

Xiaojing Xu, Srinjoy Das+1 more|arXiv (Cornell University)|Apr 13, 2017

Low-power high-performance VLSI design参考文献 11被引用 3

一句话总结

本文提出 ApproxDBN，一种利用近似计算实现判别式深度置信网络（DDBN）能效推理的框架。通过结合关键性分析以识别容错神经元、迭代位长缩减以及增量微调，该方法在 MNIST 数据集上实现了高达 90% 的功耗降低，且精度损失低于 10%。

ABSTRACT

Probabilistic generative neural networks are useful for many applications, such as image classification, speech recognition and occlusion removal. However, the power budget for hardware implementations of neural networks can be extremely tight. To address this challenge we describe a design methodology for using approximate computing methods to implement Approximate Deep Belief Networks (ApproxDBNs) by systematically exploring the use of (1) limited precision of variables; (2) criticality analysis to identify the nodes in the network which can operate with such limited precision while allowing the network to maintain target accuracy levels; and (3) a greedy search methodology with incremental retraining to determine the optimal reduction in precision to enable maximize power savings under user-specified accuracy constraints. Experimental results show that significant bit-length reduction can be achieved by our ApproxDBN with constrained accuracy loss.

研究动机与目标

• 解决移动和物联网设备中深度置信网络硬件实现的高功耗挑战。
• 利用神经网络固有的容错能力，在不显著降低精度的前提下减少变量精度。
• 开发一种系统化的方法来近似 DDBN，以在功耗节省与精度约束之间取得平衡。
• 优化网络变量的位长分布，以在维持用户指定精度水平的同时最小化功耗。

提出的方法

• 对全精度 DDBN 进行关键性分析，按其对网络性能的影响对隐藏神经元进行排序。
• 基于动态调整的阈值，对关键性最低的神经元执行迭代、贪心的位长缩减。
• 在每次近似步骤后进行增量微调，以恢复并提升网络精度。
• 重复近似-微调循环，直到进一步缩减违反精度约束为止。
• 采用三级迭代框架：(1) 关键性排序，(2) 基于自适应阈值的神经元选择，(3) 渐进式位宽缩减。
• 以 Q8.8 固定点表示为基线，将选定神经元的变量精度降低至更低的位长（例如 8 位、4 位、2 位）。

实验结果

研究问题

• RQ1 如何系统性地将可变精度缩减应用于生成式、随机性深度置信网络，以最小化功耗？
• RQ2 DDBN 中哪些神经元对精度缩减最具有容错性，以及如何在近似前识别它们？
• RQ3 在位宽缩减后，近似后的微调能在多大程度上恢复或提升网络精度？
• RQ4 在满足给定精度约束的前提下，DDBN 参数的最优位长分布是什么，才能实现最低功耗？
• RQ5 关键性分析与迭代微调的结合，为何优于随机或固定精度的近似策略？

主要发现

• 基于关键性的神经元选择优于随机选择，在多层 DDBN 中近似相同数量神经元时能保持更高精度。
• 对于 300-200-100 的 DDBN，ApproxDBN 框架在总位长相比基线减少 90% 的情况下，实现了 90% 的精度水平。
• 在每次近似步骤后进行微调显著提升了精度恢复效果，尤其在应用较大精度缩减时更为明显。
• 贪心的、迭代的设计流程在六轮迭代中单调减少了总位长，同时保持精度高于 90% 的阈值。
• 该框架在 MNIST 数据集上实现了高达 90% 的功耗节省，且精度损失低于 10%，展现出优异的能效权衡性能。
• 与缺乏关键性分析或微调的变体相比，该方法实现了更高的位长缩减和更好的精度保持能力。