[论文解读] AttaNet: Attention-Augmented Network for Fast and Accurate Scene Parsing

Qi Song, Kangfu Mei+1 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Neural Network Applications参考文献 41被引用 4

一句话总结

AttaNet 是一种轻量级、高效的神经网络，用于实时场景解析，通过引入条带注意力模块（Strip Attention Module, SAM）以减少计算成本的方式捕捉全局上下文信息，该模块聚焦于垂直和水平条带注意力机制；同时引入注意力融合模块（Attention Fusion Module, AFM）以智能方式整合多层级特征。该模型在速度-精度权衡方面达到当前最优表现，在 Cityscapes 数据集上实现 180 FPS 与 70.1% mIoU，在 ADE20K 数据集上实现 43.71% mIoU，且参数量和 FLOPs 显著低于先前方法。

ABSTRACT

Two factors have proven to be very important to the performance of semantic segmentation models: global context and multi-level semantics. However, generating features that capture both factors always leads to high computational complexity, which is problematic in real-time scenarios. In this paper, we propose a new model, called Attention-Augmented Network (AttaNet), to capture both global context and multilevel semantics while keeping the efficiency high. AttaNet consists of two primary modules: Strip Attention Module (SAM) and Attention Fusion Module (AFM). Viewing that in challenging images with low segmentation accuracy, there are a significantly larger amount of vertical strip areas than horizontal ones, SAM utilizes a striping operation to reduce the complexity of encoding global context in the vertical direction drastically while keeping most of contextual information, compared to the non-local approaches. Moreover, AFM follows a cross-level aggregation strategy to limit the computation, and adopts an attention strategy to weight the importance of different levels of features at each pixel when fusing them, obtaining an efficient multi-level representation. We have conducted extensive experiments on two semantic segmentation benchmarks, and our network achieves different levels of speed/accuracy trade-offs on Cityscapes, e.g., 71 FPS/79.9% mIoU, 130 FPS/78.5% mIoU, and 180 FPS/70.1% mIoU, and leading performance on ADE20K as well.

研究动机与目标

• 解决现有模型在语义分割中使用全局上下文与多层级语义时计算成本过高的问题。
• 通过减少注意力机制中的 FLOPs，实现实时推理而不损失分割精度。
• 设计一种高效模块，利用方向性条带替代完整自注意力机制，以捕捉长距离依赖关系。
• 采用基于注意力的策略，按像素动态加权，实现多层级特征的有效融合。
• 确保在从轻量级到深层架构的各类主干网络中均具备兼容性与性能提升。

提出的方法

• 提出条带注意力模块（SAM），通过垂直与水平条带操作，将自注意力的空间复杂度从 O(H×W×H×W) 降低至 O(H×W×W)，聚焦于方向性长距离依赖关系。
• 利用条带操作沿列（垂直）或行（水平）方向编码全局上下文，降低计算量的同时保持围栏、电线杆等带状结构的结构一致性。
• 提出注意力融合模块（AFM），通过可学习的注意力权重实现跨层级特征聚合，使每个像素能够动态选择来自不同层级的相关特征。
• 仅在主干网络最后两个阶段之间应用 AFM，以最小化计算开销，同时最大化特征表示质量。
• 设计网络为即插即用结构，可无缝集成至多种主干网络，包括 ResNet50、ResNet101、ShuffleNetV2、DF1 和 DF2。
• 采用跨层级聚合架构，仅引入极少额外参数与 FLOPs，确保高效率且不损失性能。

实验结果

研究问题

• RQ1 能否设计一种更高效的注意力机制，以降低语义分割中全局上下文建模的计算成本？
• RQ2 如何在不引入显著计算开销的前提下，有效融合多层级特征？
• RQ3 方向性条带操作是否能提升长距离依赖建模能力，同时保持分割中的结构细节？
• RQ4 所提出的基于注意力的融合策略是否优于简单的拼接或逐元素相加方法？
• RQ5 所提出的模块是否可泛化至不同主干网络架构，包括轻量级与深层网络？

主要发现

• AttaNet 在 Cityscapes 上实现 180 FPS 与 70.1% mIoU，展现出优异的速度-精度权衡。
• 在 Cityscapes 上，AttaNet 达到 130 FPS 与 78.5% mIoU，以及 71 FPS 与 79.9% mIoU，优于多数现有方法在速度与精度上的表现。
• 在 ResNet50 上，AttaNet 将 mIoU 从 73.4% 提升至 81.2%，仅增加 3.2% 的 FLOPs，展现出极高的效率。
• 在 ADE20K 上，AttaNet 实现 43.71% mIoU，仅消耗 150.5 GFLOPs，显著优于 FLOPs 更高的其他模型。
• SAM 相较于非局部块减少 94.5% 的 FLOPs，相较 CCNet 的 RCCA 模块减少 60.8% 的 FLOPs，同时保持相当或更优的分割质量。
• AFM 在融合方法中表现最佳，仅带来微小的计算增加，证明其在多层级特征融合中的有效性。