[论文解读] AdderNet: Do We Really Need Multiplications in Deep Learning?

Hanting Chen, Yunhe Wang+5 more|arXiv (Cornell University)|Dec 31, 2019

Advanced Neural Network Applications参考文献 37被引用 14

一句话总结

该论文提出AdderNets，一种新型深度学习架构，通过使用ℓ₁-范数距离作为滤波器与特征图之间的相似性度量，用高效加法替代卷积神经网络中的计算成本高昂的乘法运算。该方法在ResNet-50上实现了74.9%的ImageNet Top-1准确率，且卷积层中零乘法运算，证明了仅使用加法的网络能够达到CNN的性能，同时显著降低计算成本。

ABSTRACT

Compared with cheap addition operation, multiplication operation is of much higher computation complexity. The widely-used convolutions in deep neural networks are exactly cross-correlation to measure the similarity between input feature and convolution filters, which involves massive multiplications between float values. In this paper, we present adder networks (AdderNets) to trade these massive multiplications in deep neural networks, especially convolutional neural networks (CNNs), for much cheaper additions to reduce computation costs. In AdderNets, we take the $\ell_1$-norm distance between filters and input feature as the output response. The influence of this new similarity measure on the optimization of neural network have been thoroughly analyzed. To achieve a better performance, we develop a special back-propagation approach for AdderNets by investigating the full-precision gradient. We then propose an adaptive learning rate strategy to enhance the training procedure of AdderNets according to the magnitude of each neuron's gradient. As a result, the proposed AdderNets can achieve 74.9% Top-1 accuracy 91.7% Top-5 accuracy using ResNet-50 on the ImageNet dataset without any multiplication in convolution layer. The codes are publicly available at: https://github.com/huaweinoah/AdderNet.

研究动机与目标

• 探究深度神经网络是否能在不损失准确率的前提下，完全消除卷积运算中的乘法运算。
• 设计一种仅使用加法运算的硬件高效替代方案，以替代标准卷积运算。
• 为基于ℓ₁-距离相似性的网络开发一种稳定的训练方法，最大限度减少梯度消失问题。
• 通过降低计算复杂度，实现深度网络在移动设备和边缘设备上的低功耗部署。

提出的方法

• 用输入特征图与可学习滤波器之间的ℓ₁-范数距离计算替代标准卷积运算，该计算仅涉及加法和减法（通过补码表示）。
• 引入全精度梯度反向传播方案，以稳定训练过程，避免在ℓ₁-基础网络中出现梯度消失。
• 提出一种自适应学习率缩放策略，根据每层的梯度大小动态调整学习率，以提升收敛性。
• 采用正则化梯度更新策略，确保反向传播过程中滤波器获得足够的更新，尤其是在训练初期。
• 通过可视化特征分布和权重分布，确认ℓ₁-基础网络学习到了具有拉普拉斯分布特性的类别判别性表征。

实验结果

研究问题

• RQ1 ℓ₁-范数距离能否作为深度神经网络中可行且有效的相似性度量，替代卷积运算中的标准点积？
• RQ2 是否可能仅使用加法运算（无任何乘法）训练深度网络，同时保持具有竞争力的准确率？
• RQ3 鉴于绝对值函数在零点不可导，如何在ℓ₁-基础网络中稳定梯度优化？
• RQ4 为实现AdderNets的收敛与高性能，需要哪些训练策略，如自适应学习率或全精度梯度？

主要发现

• AdderNets在ResNet-50架构下，卷积层中无任何乘法运算，实现了ImageNet上74.9%的Top-1准确率和91.7%的Top-5准确率。
• 所提出的全精度梯度与自适应学习率策略使AdderNets在MNIST数据集上使用LeNet-5-BN架构达到99.40%的准确率，与标准CNN性能相当。
• AdderNets中的权重分布符合拉普拉斯分布，与ℓ₁-范数先验一致，而CNN的权重分布则呈高斯分布。
• 特征可视化显示，与CNN相比，AdderNets生成的表征更具类别聚集性，表明在ℓ₁-相似性下具备更强的判别能力。
• 消融实验表明，全精度梯度和自适应学习率缩放策略对高性能至关重要，仅使用符号梯度的模型在MNIST上准确率仅为29.26%。