[论文解读] AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers

Alexander Wong, Mahmoud Famouri+1 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Memory and Neural ComputingEngineering被引用 17

一句话总结

AttendNets 引入了高度高效、低精度的深度神经网络，用于基于视觉注意力浓缩器的设备端图像识别——即自注意力机制，可增强空间-通道选择性注意力——并结合机器驱动的架构搜索。该方法在参数量、内存占用和计算量方面相比 MobileNet-V1 实现了最高达 16.7 倍的内存降低和 3 倍的 FLOPs 减少，实现了 TinyML 应用中更优的准确率-复杂度权衡。

ABSTRACT

While significant advances in deep learning has resulted in state-of-the-art performance across a large number of complex visual perception tasks, the widespread deployment of deep neural networks for TinyML applications involving on-device, low-power image recognition remains a big challenge given the complexity of deep neural networks. In this study, we introduce AttendNets, low-precision, highly compact deep neural networks tailored for on-device image recognition. More specifically, AttendNets possess deep self-attention architectures based on visual attention condensers, which extends on the recently introduced stand-alone attention condensers to improve spatial-channel selective attention. Furthermore, AttendNets have unique machine-designed macroarchitecture and microarchitecture designs achieved via a machine-driven design exploration strategy. Experimental results on ImageNet$_{50}$ benchmark dataset for the task of on-device image recognition showed that AttendNets have significantly lower architectural and computational complexity when compared to several deep neural networks in research literature designed for efficiency while achieving highest accuracies (with the smallest AttendNet achieving $\\sim$7.2% higher accuracy, while requiring $\\sim$3$\ imes$ fewer multiply-add operations, $\\sim$4.17$\ imes$ fewer parameters, and $\\sim$16.7$\ imes$ lower weight memory requirements than MobileNet-V1). Based on these promising results, AttendNets illustrate the effectiveness of visual attention condensers as building blocks for enabling various on-device visual perception tasks for TinyML applications.

研究动机与目标

• 解决在低功耗、设备端边缘系统上部署复杂深度神经网络用于图像识别的挑战。
• 通过引入专为边缘部署设计的新型自注意力机制，提升 TinyML 中的效率与准确率。
• 利用机器驱动的设计探索方法，优化紧凑神经网络的宏观与微观架构。
• 证明视觉注意力浓缩器可在准确率与计算效率方面超越现有高效架构。

提出的方法

• 引入视觉注意力浓缩器（VAC）作为自注意力模块，对空间-通道激活进行下混频、浓缩、嵌入、扩展与选择性注意力，以提升特征表示能力。
• VAC 架构包含一个下混频层以减少通道维度，一个浓缩层以聚焦于强激活的邻近区域，以及一个扩展层以重建注意力图。
• 选择性注意力机制通过缩放调制将原始特征与学习到的注意力值融合，实现空间-通道的选择性优化。
• AttendNet 架构通过机器驱动的设计探索策略生成，可自动确定最优的宏观与微观架构配置。
• 应用低精度量化以减少模型大小与计算成本，从而实现在资源受限边缘设备上的部署。
• 该方法将基于注意力的特征优化与高效操作（如逐点分组卷积和通道混洗）相结合，以降低 FLOPs 与参数量。

实验结果

研究问题

• RQ1 视觉注意力浓缩器能否显著提升紧凑深度神经网络在设备端图像识别中的准确率与效率？
• RQ2 机器驱动的设计探索策略如何优化微型注意力网络的宏观与微观架构？
• RQ3 自注意力机制在准确率与复杂度方面，能在多大程度上超越传统高效架构（如 MobileNet-V1 和 MobileNet-V2）？
• RQ4 在空间-通道选择性与计算效率方面，视觉注意力浓缩器与现有注意力机制相比表现如何？

主要发现

• AttendNet-A 的 top-1 准确率相比 MobileNet-V1 提高约 8.7%，同时参数量减少约 2.35 倍，权重内存降低约 9.4 倍，乘加操作减少约 2.1 倍。
• 最小的 AttendNet 在参数量减少约 3 倍、FLOPs 减少约 4.17 倍、权重内存降低约 16.7 倍的同时，top-1 准确率相比 MobileNet-V1 提高约 7.2%。
• AttendNet-A 在参数量减少约 2.1 倍、内存降低约 8.4 倍、FLOPs 减少约 1.53 倍的情况下，相比 AttoNet-A 准确率提升约 0.2%。
• 视觉注意力浓缩器与机器驱动设计的结合，在所有评估指标中均实现了准确率与模型复杂度的更优平衡。
• AttendNets 展现出强大的泛化能力与效率，适用于实时、低功耗边缘推理任务。