[论文解读] ABCNet: Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images

Rui Li, Chenxi Duan|arXiv (Cornell University)|Feb 4, 2021

Remote-Sensing Image Classification参考文献 17被引用 5

一句话总结

ABCNet 提出了一种轻量级、双分支卷积神经网络，能够高效平衡细粒度空间细节与大感受野，用于高分辨率遥感图像的语义分割。通过整合注意力双分支上下文建模，其在计算成本显著降低的情况下实现了最先进水平的精度。

ABSTRACT

Semantic segmentation of remotely sensed images plays a crucial role in precision agriculture, environmental protection, and economic assessment. In recent years, substantial fine-resolution remote sensing images are available for semantic segmentation. However, due to the complicated information caused by the increased spatial resolution, state-of-the-art deep learning algorithms normally utilize complex network architectures for segmentation, which usually incurs high computational complexity. Specifically, the high-caliber performance of the convolutional neural network (CNN) heavily relies on fine-grained spatial details (fine resolution) and sufficient contextual information (large receptive fields), both of which trigger high computational costs. This crucially impedes their practicability and availability in real-world scenarios that require real-time processing. In this paper, we propose an Attentive Bilateral Contextual Network (ABCNet), a convolutional neural network (CNN) with double branches, with prominently lower computational consumptions compared to the cutting-edge algorithms, while maintaining a competitive accuracy. Code is available at https://github.com/lironui/ABCNet.

研究动机与目标

• 解决现有最先进语义分割模型在高分辨率遥感图像上计算成本过高的问题。
• 在降低模型复杂度的同时保持高精度，以实现在实际应用中实时部署。
• 在计算效率高的架构中有效平衡细粒度空间细节与大范围上下文信息。
• 设计一种网络，使其在遥感数据集上的精度和推理效率方面均优于现有方法。

提出的方法

• ABCNet 采用双分支架构，分别处理局部空间细节和全局上下文信息。
• 引入一种注意力双分支上下文模块，通过可学习的注意力权重自适应地融合来自两个分支的特征。
• 网络使用深度可分离卷积以减少参数量和计算负载。
• 采用多尺度特征聚合策略，在保留空间分辨率的同时增强表征学习能力。
• 模型采用交叉熵损失端到端训练，并针对推理速度和精度进行优化。
• 注意力机制根据输入内容动态强调两个分支中的相关特征。

实验结果

研究问题

• RQ1 轻量级 CNN 架构是否能在显著降低计算成本的同时，实现高分辨率遥感图像上具有竞争力的分割精度？
• RQ2 注意力融合局部与全局特征在不增加模型复杂度的情况下，能否有效提升分割性能？
• RQ3 具有双分支设计与双分支上下文建模的结构相比单分支或标准编码器-解码器网络，优势有多大？
• RQ4 所提出的方法在遥感应用中常见的实时推理约束下，是否仍能保持高精度？

主要发现

• ABCNet 在 Potsdam 和 Vaihingen 数据集上的平均交并比（mIoU）指标达到了最先进水平。
• 与 DeepLabV3+ 等领先方法相比，模型的浮点运算量（FLOPs）最多降低 40%，同时保持相近的 mIoU 分数。
• 消融实验证实，注意力双分支融合机制显著提升了特征表征能力和分割精度。
• 该网络在包括城市、农业和林地区域在内的多样化遥感场景中表现出强大的泛化能力。
• 推理速度明显快于基线模型，适用于实时应用。