[论文解读] Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images

Ruigang Niu, Xian Sun+4 more|arXiv (Cornell University)|Jan 9, 2020

Advanced Image and Video Retrieval Techniques参考文献 45被引用 15

一句话总结

该论文提出了一种新型基于注意力机制的框架——混合多头注意力网络（HMANet），用于超高分辨率航拍图像的语义分割。该框架通过整合空间、通道和类别级注意力机制，高效建模全局依赖关系。HMANet在ISPRS Vaihiken和Potsdam基准测试中达到最先进性能，使用ResNet-101主干网络时，平均IoU分别为91.44%和92.21%。

ABSTRACT

Semantic segmentation in very high resolution (VHR) aerial images is one of the most challenging tasks in remote sensing image understanding. Most of the current approaches are based on deep convolutional neural networks (DCNNs). However, standard convolution with local receptive fields fails in modeling global dependencies. Prior researches have indicated that attention-based methods can capture long-range dependencies and further reconstruct the feature maps for better representation. Nevertheless, limited by the mere perspective of spacial and channel attention and huge computation complexity of self-attention mechanism, it is unlikely to model the effective semantic interdependencies between each pixel-pair of remote sensing data of complex spectra. In this work, we propose a novel attention-based framework named Hybrid Multiple Attention Network (HMANet) to adaptively capture global correlations from the perspective of space, channel and category in a more effective and efficient manner. Concretely, a class augmented attention (CAA) module embedded with a class channel attention (CCA) module can be used to compute category-based correlation and recalibrate the class-level information. Additionally, we introduce a simple yet effective region shuffle attention (RSA) module to reduce feature redundant and improve the efficiency of self-attention mechanism via region-wise representations. Extensive experimental results on the ISPRS Vaihingen and Potsdam benchmark demonstrate the effectiveness and efficiency of our HMANet over other state-of-the-art methods.

研究动机与目标

• 解决在超高分辨率航拍图像中建模长距离依赖关系的语义分割挑战。
• 克服标准卷积网络因固定局部感受野而难以捕捉全局上下文的局限性。
• 降低遥感图像分割中自注意力机制的计算复杂度与特征冗余。
• 引入类别级注意力以提升类别特定的特征表示，这对像素级分类至关重要。
• 开发一种高效且有效的注意力机制，融合空间、通道和类别视角，以提升分割性能。

提出的方法

• 提出类别增强注意力（CAA）模块，集成类别通道注意力（CCA）模块，用于计算基于类别的相关性并重新校准类别级特征。
• 引入区域洗牌注意力（RSA）模块，通过学习区域级表示来减少特征冗余，提升自注意力机制的效率。
• 设计一种混合注意力框架，联合优化空间、通道和类别注意力，以捕捉多视角的全局上下文信息。
• 采用VGG-16和ResNet-101作为主干网络，评估模型在不同网络架构下的性能与效率。
• 在ISPRS Vaihingen和Potsdam数据集上按照标准协议进行训练与测试，与最先进方法进行对比。

实验结果

研究问题

• RQ1 结合空间、通道和类别视角的混合注意力机制是否能提升航拍图像的语义分割性能？
• RQ2 所提出的类别增强注意力（CAA）模块相较于标准空间与通道注意力，在提升类别级特征表示方面有何改进？
• RQ3 区域洗牌注意力（RSA）模块在遥感数据的自注意力机制中，能在多大程度上降低计算复杂度与特征冗余？
• RQ4 多重视角注意力机制的融合是否能在Vaihingen和Potsdam等多样化航拍图像数据集中带来一致的性能提升？
• RQ5 在超高分辨率航拍图像语义分割任务中，HMANet相较于现有最先进方法，在准确率与效率方面表现如何？

主要发现

• 使用ResNet-101主干网络的HMANet在ISPRS Vaihingen测试集上达到91.44%的平均IoU，优于以往最先进方法。
• 在Potsdam数据集上，HMANet实现92.21%的整体准确率与87.28%的平均IoU，展现出卓越的性能与鲁棒性。
• 在Potsdam数据集上，HMANet使用ResNet-101主干网络时，平均F1-score达到93.50%，显著优于DeepLabV3+和PSPNet等基线方法。
• 消融实验证实，CAA与RSA模块的联合使用带来了性能提升，其中CAA增强了类别级特征表示，RSA提升了计算效率。
• HMANet在分割质量上优于以往方法，定性结果直观验证了其在边界检测优化与噪声减少方面的优势。