[论文解读] Improving Semantic Segmentation of Aerial Images Using Patch-based Attention

Lei Ding, Hao Tang+1 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Neural Network Applications参考文献 29被引用 11

一句话总结

该论文提出了一种轻量级局部注意力网络（LANet），通过引入一种补丁注意力模块（PAM）来增强基于局部补丁的注意力机制以提升上下文表征能力，并通过注意力嵌入模块（AEM）将高层特征的语义关注点传递至低层特征。LANet在两个航拍图像数据集上显著提升了基线FCN和当前最先进方法的分割精度，在Potsdam数据集上达到89.83%的整体准确率，在Vaihingen数据集上达到88.09%的平均F1分数。

ABSTRACT

The trade-off between feature representation power and spatial localization accuracy is crucial for the dense classification/semantic segmentation of aerial images. High-level features extracted from the late layers of a neural network are rich in semantic information, yet have blurred spatial details; low-level features extracted from the early layers of a network contain more pixel-level information, but are isolated and noisy. It is therefore difficult to bridge the gap between high and low-level features due to their difference in terms of physical information content and spatial distribution. In this work, we contribute to solve this problem by enhancing the feature representation in two ways. On the one hand, a patch attention module (PAM) is proposed to enhance the embedding of context information based on a patch-wise calculation of local attention. On the other hand, an attention embedding module (AEM) is proposed to enrich the semantic information of low-level features by embedding local focus from high-level features. Both of the proposed modules are light-weight and can be applied to process the extracted features of convolutional neural networks (CNNs). Experiments show that, by integrating the proposed modules into the baseline Fully Convolutional Network (FCN), the resulting local attention network (LANet) greatly improves the performance over the baseline and outperforms other attention based methods on two aerial image datasets.

研究动机与目标

• 解决航拍图像语义分割中语义表征能力与空间定位精度之间的权衡问题。
• 克服在大规模航拍图像中全局场景上下文模糊时，全局注意力机制的局限性。
• 通过局部化、基于补丁的注意力机制与跨层级注意力传递，增强高层与低层特征的表征能力。
• 设计轻量级、可集成的模块，在不增加计算成本的前提下提升全卷积网络中的特征融合效果。

提出的方法

• 提出一种补丁注意力模块（PAM），在图像补丁上计算局部注意力描述符，以增强高层与低层特征中的上下文感知特征表征。
• 引入一种注意力嵌入模块（AEM），将高层特征的语义关注点传递至低层特征，从而在保留空间细节的同时增强其语义内容。
• 将PAM与AEM作为即插即用模块，应用于全卷积网络（FCN）主干网络的特征提取之后，支持端到端训练。
• 在PAM中结合空间与通道注意力机制，聚合局部上下文信息，减少相似语义类别之间的混淆。
• 在AEM中采用可学习的注意力加权机制，根据高层语义线索动态调制低层特征。
• 将两个模块整合进统一的网络架构中，命名为局部注意力网络（LANet），以提升特征融合与分割性能。

实验结果

研究问题

• RQ1 基于补丁的局部注意力能否提升高层特征在航拍图像分割中的上下文表征能力？
• RQ2 从高层到低层特征的基于注意力的增强方法，能否缩小语义内容与空间分布之间的差距？
• RQ3 在缺乏明显场景级区分的大规模航拍图像中，轻量级局部注意力机制是否优于全局注意力机制？
• RQ4 所提出的LANet在分割精度与边界清晰度方面，相较于当前最先进基于注意力与感受野扩展的模型表现如何？

主要发现

• 在Potsdam数据集上，LANet达到89.83%的整体准确率，显著优于基线FCN（88.66%）及其他所有基于注意力的方法。
• 在Vaihingen数据集上，LANet达到88.09%的平均F1分数，优于所有对比方法，包括DeepLabv3+与PSPNet。
• 补丁注意力模块（PAM）增强了上下文表征，减少了预测结果中的碎片化现象，并提升了边界清晰度。
• 注意力嵌入模块（AEM）显著提升了低层特征的语义质量，从而改善了与高层特征的融合效果。
• 由于航拍图像中全局场景上下文模糊，全局注意力机制（如SE与CBAM）表现欠佳，而PAM基于局部补丁的方法有效缓解了该问题。
• 可视化结果表明，与FCN及其他基于注意力的模型相比，LANet生成了更精确、更细致的分割结果，尤其在小物体（如汽车与道路）的识别上表现更优。