[论文解读] AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence

Yunhe Wang, Mingqiang Huang+5 more|arXiv (Cornell University)|Jan 25, 2021

Advanced Memory and Neural ComputingEngineering参考文献 40被引用 22

一句话总结

本文提出 AdderNet，一种新型神经网络架构，用仅含加法的运算替代传统基于乘法的卷积操作，从而显著提升能效与硬件效率。通过结合 int8/int16 量化与极简的 FPGA 加速硬件设计，AdderNet 在 ImageNet 和 CIFAR-10 基准测试中保持相近准确率的同时，相比 CNN 实现了高达 77.9% 的功耗降低与 67.6% 的逻辑资源使用减少。

ABSTRACT

Convolutional neural networks (CNN) have been widely used for boosting the performance of many machine intelligence tasks. However, the CNN models are usually computationally intensive and energy consuming, since they are often designed with numerous multiply-operations and considerable parameters for the accuracy reason. Thus, it is difficult to directly apply them in the resource-constrained environments such as 'Internet of Things' (IoT) devices and smart phones. To reduce the computational complexity and energy burden, here we present a novel minimalist hardware architecture using adder convolutional neural network (AdderNet), in which the original convolution is replaced by adder kernel using only additions. To maximally excavate the potential energy consumption, we explore the low-bit quantization algorithm for AdderNet with shared-scaling-factor method, and we design both specific and general-purpose hardware accelerators for AdderNet. Experimental results show that the adder kernel with int8/int16 quantization also exhibits high performance, meanwhile consuming much less resources (theoretically ~81% off). In addition, we deploy the quantized AdderNet on FPGA (Field Programmable Gate Array) platform. The whole AdderNet can practically achieve 16% enhancement in speed, 67.6%-71.4% decrease in logic resource utilization and 47.85%-77.9% decrease in power consumption compared to CNN under the same circuit architecture. With a comprehensive comparison on the performance, power consumption, hardware resource consumption and network generalization capability, we conclude the AdderNet is able to surpass all the other competitors including the classical CNN, novel memristor-network, XNOR-Net and the shift-kernel based network, indicating its great potential in future high performance and energy-efficient artificial intelligence applications.

研究动机与目标

• 为解决资源受限环境（如物联网和移动设备）中深度学习模型的高能耗与高计算成本问题。
• 降低传统 CNN 中功耗密集型乘加（MAC）运算的依赖。
• 设计一种专为基于加法的神经网络量身定制的极简、高能效硬件加速器。
• 在仅使用加法计算的框架下，实现低精度量化（int8/int16）下的高准确率。
• 与现有方案（包括 XNOR-Net、忆阻器网络及移位基网络）相比，展示出更优的性能与效率。

提出的方法

• 将标准卷积层替换为加法核，通过输入特征图与可学习核权重之间绝对差值的和来计算输出。
• 采用共享缩放因子量化方法，实现在低比特（int8/int16）下推理的同时保持模型准确率。
• 设计基于 FPGA 的专用硬件加速器，采用 2A（双加法器）架构，实现高效的加法计算。
• 通过消除乘法器并减少复杂逻辑，优化硬件设计以最小化逻辑面积与功耗。
• 在与标准 CNN 相同的电路约束条件下于 FPGA 上部署并基准测试 AdderNet，以确保公平比较。
• 使用标准反向传播训练与微调 AdderNet，其中绝对差值操作通过可微分近似实现。

实验结果

研究问题

• RQ1 仅使用加法的神经网络架构能否在大幅降低计算功耗的同时，实现与标准 CNN 相当的准确率？
• RQ2 低比特量化（int8/int16）对基于加法的网络性能与能效有何影响？
• RQ3 与传统 CNN 相比，AdderNet 在 FPGA 上实现的硬件资源与功耗开销如何？
• RQ4 在能效、硬件占用面积与低精度设置下的准确率保持方面，AdderNet 与 XNOR-Net、DeepShift 及忆阻器基网络相比表现如何？
• RQ5 共享缩放因子量化方法能否在低比特宽度下有效保持模型准确率，而不会导致显著性能下降？

主要发现

• AdderNet 在 int8/int16 量化下保持高准确率，在 ImageNet-1K 上达到 76.6% 的 Top-1 准确率，在 CIFAR-10 上达到 91.78% 的 Top-1 准确率，与全精度 CNN 相当。
• 在 FPGA 上，AdderNet 实现了 16% 的更高推理速度，逻辑资源使用减少 67.6%–71.4%，功耗降低 47.85%–77.9%，相比等效 CNN。
• 2A 硬件架构通过降低电路复杂度，实现高效加法计算，其面积与功耗开销低于比较器。
• 在低精度设置下，AdderNet 在能效、硬件占用面积与准确率保持方面优于 XNOR-Net、DeepShift、忆阻器网络及移位核网络。
• 共享缩放因子量化方法在 int8 与 int16 下表现稳定，但在 4-bit 精度下因信息损失导致准确率显著下降。
• 全面基准测试证实，AdderNet 在多样化的边缘 AI 应用中，于性能、能效与硬件资源使用之间实现了卓越的平衡。