[论文解读] An Empirical Study of Adder Neural Networks for Object Detection

Xinghao Chen, Chang Xu+3 more|arXiv (Cornell University)|Dec 27, 2021

Advanced Neural Network Applications被引用 10

一句话总结

本论文针对目标检测任务开展了对加法神经网络（AdderNets）的实证研究，提出了一种新颖的训练策略与网络结构，以应对精度不足与特征稀疏性等挑战。通过解冻批量归一化统计量并引入反向多尺度特征融合模块（R-PAFPN），所提出的Adder FCOS在COCO数据集上实现了37.8%的mAP，同时相比卷积网络实现约1.4倍的能效降低。

ABSTRACT

Adder neural networks (AdderNets) have shown impressive performance on image classification with only addition operations, which are more energy efficient than traditional convolutional neural networks built with multiplications. Compared with classification, there is a strong demand on reducing the energy consumption of modern object detectors via AdderNets for real-world applications such as autonomous driving and face detection. In this paper, we present an empirical study of AdderNets for object detection. We first reveal that the batch normalization statistics in the pre-trained adder backbone should not be frozen, since the relatively large feature variance of AdderNets. Moreover, we insert more shortcut connections in the neck part and design a new feature fusion architecture for avoiding the sparse features of adder layers. We present extensive ablation studies to explore several design choices of adder detectors. Comparisons with state-of-the-arts are conducted on COCO and PASCAL VOC benchmarks. Specifically, the proposed Adder FCOS achieves a 37.8\% AP on the COCO val set, demonstrating comparable performance to that of the convolutional counterpart with an about $1.4 imes$ energy reduction.

研究动机与目标

• 探究加法神经网络在目标检测任务中的可行性与性能表现，该任务相较于图像分类更为复杂。
• 解决在目标检测任务中训练AdderNets的挑战，因滤波器敏感性与特征稀疏性导致标准微调策略失效。
• 探索可补偿加法层固有稀疏激活模式的网络结构改进方法。
• 为自动驾驶与移动视觉等实际应用场景实现理想的精度-能效权衡。
• 建立基于Adder的检测器在训练与设计方面的最佳实践，尤其关注批量归一化与特征融合策略。

提出的方法

• 在预训练的加法主干网络中解冻批量归一化统计量，以提升特征方差与训练稳定性。
• 在颈部模块中引入额外的跳跃连接，以增强特征传播并缓解稀疏激活问题。
• 设计一种新型反向多尺度特征融合模块（R-PAFPN），按逆序聚合特征，以更好地处理高层稀疏特征。
• 用加法滤波器替换主干与颈部中的卷积层，以消除乘法运算并降低能耗。
• 在标准目标检测框架（如FCOS、RetinaNet）中训练检测器，使用基于加法的组件，同时保持预测头为卷积层。
• 通过大规模消融实验研究小批量大小、归一化策略与网络组件的影响，以优化性能。

实验结果

研究问题

• RQ1 为何在预训练的加法主干网络中冻结批量归一化统计量会导致检测性能下降？最优微调策略为何？
• RQ2 小批量大小与归一化统计量如何影响加法检测器的训练动态与最终精度？
• RQ3 如额外跳跃连接与新型融合模块等结构改进，能否有效补偿加法层中的稀疏特征表示？
• RQ4 加法检测器在实现显著能效降低的同时，其精度可与卷积检测器达到何种程度的匹配？
• RQ5 在预测头中用加法滤波器替换卷积层时，性能权衡如何？

主要发现

• 在预训练的加法主干网络中解冻批量归一化统计量可带来显著性能提升，与卷积检测器中的标准做法相反。
• 所提出的R-PAFPN模块能有效缓解加法层稀疏特征的影响，改善颈部特征表示。
• Adder FCOS在COCO val2017数据集上达到37.8% mAP，与SOTA卷积检测器（如RetinaNet）精度相当，同时能耗降低约1.4倍。
• 当主干与颈部均替换为加法结构时（Adder FCOS B+N），mAP达到37.0%，并进一步减少乘法运算，展现出优异的能效表现。
• 在较小输入尺寸（如736×512）下，Adder FCOS-RT将能耗从344.4降低至244.4，mAP仅下降1.3%，表现优异。
• 在预测头中用加法滤波器替换卷积层会导致精度显著下降，表明当前加法头尚不适用于高精度目标检测任务。