[论文解读] Faster Attention Is What You Need: A Fast Self-Attention Neural Network Backbone Architecture for the Edge via Double-Condensing Attention Condensers

Alexander Wong, Mohammad Javad Shafiee+3 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 AttendNeXt，一种用于边缘人工智能的快速自注意力神经网络主干网络，采用双压缩注意力压缩器（DC-AC），通过双层压缩阶段对特征嵌入进行压缩。该架构在 ARM Cortex A72 上实现的推理吞吐量比 FB-Net C 和 MobileOne-S1 高出 10 倍以上，同时保持高精度（比 MobileViT XS 高 1.1% 的 top-1 准确率）并减小了模型尺寸（比 MobileNetV3-L 小 1.37 倍）。

ABSTRACT

With the growing adoption of deep learning for on-device TinyML applications, there has been an ever-increasing demand for efficient neural network backbones optimized for the edge. Recently, the introduction of attention condenser networks have resulted in low-footprint, highly-efficient, self-attention neural networks that strike a strong balance between accuracy and speed. In this study, we introduce a faster attention condenser design called double-condensing attention condensers that allow for highly condensed feature embeddings. We further employ a machine-driven design exploration strategy that imposes design constraints based on best practices for greater efficiency and robustness to produce the macro-micro architecture constructs of the backbone. The resulting backbone (which we name AttendNeXt) achieves significantly higher inference throughput on an embedded ARM processor when compared to several other state-of-the-art efficient backbones (>10x faster than FB-Net C at higher accuracy and speed and >10x faster than MobileOne-S1 at smaller size) while having a small model size (>1.37x smaller than MobileNetv3-L at higher accuracy and speed) and strong accuracy (1.1% higher top-1 accuracy than MobileViT XS on ImageNet at higher speed). These promising results demonstrate that exploring different efficient architecture designs and self-attention mechanisms can lead to interesting new building blocks for TinyML applications.

研究动机与目标

• 解决在资源受限的边缘设备上对设备端 TinyML 推理专用的高效、高精度神经网络主干网络日益增长的需求。
• 通过增强自注意力机制，克服现有高效架构的局限性，实现更优的速度-精度-紧凑性权衡。
• 提出一种新型双压缩注意力压缩器（DC-AC）机制，实现更紧凑、更具代表性的特征嵌入，同时降低计算成本。
• 设计一种稳健的、基于机器的宏-微架构（AttendNeXt），集成 DC-AC 模块，同时遵循效率和稳定性的最佳实践。
• 通过在边缘硬件上实现高推理吞吐量、小模型尺寸和强精度，证明其在 ImageNet 上的卓越性能。

提出的方法

• 引入双压缩注意力压缩器（DC-AC），通过两个连续的压缩阶段实现：第一阶段对输入特征进行压缩，第二阶段对第一阶段的输出再次压缩，从而实现更深层次的特征压缩。
• 设计 DC-AC 机制，包含三个核心组件：压缩层（通过基于注意力的池化减少空间和通道维度）、嵌入层（学习空间与通道激活关系的联合表示）和扩展层（恢复维度以支持残差连接）。
• 采用基于机器的架构探索策略，依据效率、鲁棒性和硬件兼容性的最佳实践强制实施设计约束，以生成 AttendNeXt 宏-微架构。
• 采用异构列式架构设计 AttendNeXt：早期阶段使用独立列以实现解耦特征学习，后期阶段增加列间交互以实现复杂抽象。
• 在整个网络中集成 AADS（自适应注意力下采样）模块，以提升注意力机制的平移不变性和稳定性。
• 使用多目标搜索框架对最终架构进行优化，以在 ARM Cortex A72 上平衡 top-1 准确率、模型尺寸和推理吞吐量。

实验结果

研究问题

• RQ1 双压缩注意力机制是否能显著提升自注意力网络在边缘部署中的效率和表征能力？
• RQ2 与单压缩注意力压缩器相比，所提出的 DC-AC 机制在特征压缩、准确率和计算成本方面表现如何？
• RQ3 结合硬件感知约束的机器驱动设计策略，与人工设计或 NAS 方法相比，能否生成更高效、更鲁棒的主干架构？
• RQ4 AttendNeXt 是否能在边缘处理器上实现优于最先进高效主干网络（如 MobileNetV3、MobileOne 和 FB-Net）的速度、精度和模型尺寸的综合平衡？
• RQ5 双压缩机制是否能提升低功耗设备上视觉任务中基于注意力的特征学习的泛化能力和鲁棒性？

主要发现

• AttendNeXt 在 ImageNet 上达到 75.8% 的 top-1 准确率，比 MobileViT-XS 高出 1.1%，在准确率上与或超过其他最先进模型，同时显著更快。
• 在 ARM Cortex A72 处理器上，AttendNeXt 的推理吞吐量比 FB-Net C 和 MobileOne-S1 高出 10 倍以上，且比 OFA-62 和 MobileNetV3-L 快 6 倍以上。
• AttendNeXt 比 OFA-62 小 1.47 倍，比 MobileNetV3-L 小 1.37 倍，展现出强大的模型压缩能力，且未牺牲准确率。
• 双压缩注意力压缩器（DC-AC）相比先前的注意力压缩器，能生成更紧凑的特征嵌入，降低计算复杂度，同时保持强大的表征能力。
• 采用分阶段列间交互的异构列式架构提升了特征抽象效率，早期阶段实现独立学习，深层阶段实现协作学习。
• AADS 模块的集成增强了平移不变性和稳定性，有助于在边缘硬件上应对多样化输入变化时保持鲁棒性能。