[论文解读] LightNN: Filling the Gap between Conventional Deep Neural Networks and Binarized Networks

Ruizhou Ding, Zeye Liu+3 more|arXiv (Cornell University)|Dec 2, 2017

Anomaly Detection Techniques and Applications被引用 7

一句话总结

LightNN 提出了一种新颖的深度神经网络架构，用移位与加法操作替代全精度乘法，实现了二值化神经网络（BNNs）的能量效率与传统DNN的准确性之间的平衡。它在极低能耗下实现了优于BNN的准确性，并且由于具有正则化效应，在大模型中超越了传统DNN的准确性，该结论已在MNIST和CIFAR-10数据集上得到验证。

ABSTRACT

Application-specific integrated circuit (ASIC) implementations for Deep Neural Networks (DNNs) have been adopted in many systems because of their higher classification speed. However, although they may be characterized by better accuracy, larger DNNs require significant energy and area, thereby limiting their wide adoption. The energy consumption of DNNs is driven by both memory accesses and computation. Binarized Neural Networks (BNNs), as a trade-off between accuracy and energy consumption, can achieve great energy reduction, and have good accuracy for large DNNs due to its regularization effect. However, BNNs show poor accuracy when a smaller DNN configuration is adopted. In this paper, we propose a new DNN model, LightNN, which replaces the multiplications to one shift or a constrained number of shifts and adds. For a fixed DNN configuration, LightNNs have better accuracy at a slight energy increase than BNNs, yet are more energy efficient with only slightly less accuracy than conventional DNNs. Therefore, LightNNs provide more options for hardware designers to make trade-offs between accuracy and energy. Moreover, for large DNN configurations, LightNNs have a regularization effect, making them better in accuracy than conventional DNNs. These conclusions are verified by experiment using the MNIST and CIFAR-10 datasets for different DNN configurations.

研究动机与目标

• 解决ASIC实现中DNN的能效与模型准确性之间的权衡问题。
• 在保持低能耗的同时，克服小规模DNN配置下BNN准确性差的问题。
• 为传统DNN提供一种硬件友好的替代方案，在不损失准确性的情况下降低能耗。
• 探索LightNN在大规模DNN配置下相较于标准DNN的正则化效应。

提出的方法

• 将全连接层和卷积层中的所有乘法操作替换为一个或多个移位与加法操作。
• 设计一种权重被限制为2的幂次的网络架构，以支持高效的基于移位的计算。
• 采用一种训练过程，在反向传播中强制执行移位与加法约束的同时保持网络性能。
• 通过权重约束引入正则化机制，提升大规模模型中的泛化能力。
• 使用标准深度学习框架实现模型，仅需最小程度的修改以支持基于移位的操作。
• 在MNIST和CIFAR-10上对不同规模的DNN配置进行评估，以分析准确性与能耗的权衡。

实验结果

研究问题

• RQ1 基于移位操作的DNN模型是否能在保持低能耗的同时，实现优于BNN的准确性？
• RQ2 在不同模型规模下，LightNN在准确性与能效方面相较于传统DNN的表现如何？
• RQ3 LightNN中基于移位的权重约束是否会产生正则化效应，从而提升大规模模型中的泛化能力？
• RQ4 与传统DNN相比，LightNN在不造成显著准确性损失的前提下，能耗降低了多少？
• RQ5 LightNN在不同数据集和网络架构上的表现有何差异？

主要发现

• 对于小规模DNN配置，LightNN在仅带来轻微能耗增加的情况下，实现了优于BNN的准确性。
• 在大规模DNN配置中，由于基于移位的权重约束带来的正则化效应，LightNN在准确性上超越了传统DNN。
• LightNN保持了高能效，与BNN相比仅带来微小的能耗增加，但准确性显著提升。
• 在MNIST和CIFAR-10数据集上，LightNN在不同网络深度和宽度下均一致优于BNN，展现出性能提升。
• 移位与加法操作的设计支持高效的硬件映射，使LightNN适用于ASIC部署，且面积与功耗开销极低。
• 该模型在不同DNN架构上表现稳健，证实其作为传统网络与二值化网络的硬件优化替代方案具有良好的泛化能力。