[论文解读] CATNet: Context AggregaTion Network for Instance Segmentation in Remote Sensing Images.

Ye Liu, Huifang Li+4 more|arXiv (Cornell University)|Nov 22, 2021

Advanced Neural Network Applications参考文献 54被引用 4

一句话总结

CATNet 是一种用于遥感图像实例分割的新型上下文聚合网络，引入了三个轻量级模块——DenseFPN、SCP 和 HRoIE——通过在特征、空间和实例三个领域聚合全局上下文来增强特征提取。该方法在 iSAID、DIOR、NWPU VHR-10 和 HRSID 数据集上实现了最先进性能，且计算成本相当。

ABSTRACT

The task of instance segmentation in remote sensing images, aiming at performing per-pixel labeling of objects at instance level, is of great importance for various civil applications. Despite previous successes, most existing instance segmentation methods designed for natural images encounter sharp performance degradations when directly applied to top-view remote sensing images. Through careful analysis, we observe that the challenges mainly come from lack of discriminative object features due to severe scale variations, low contrasts, and clustered distributions. In order to address these problems, a novel context aggregation network (CATNet) is proposed to improve the feature extraction process. The proposed model exploits three lightweight plug-and-play modules, namely dense feature pyramid network (DenseFPN), spatial context pyramid (SCP), and hierarchical region of interest extractor (HRoIE), to aggregate global visual context at feature, spatial, and instance domains, respectively. DenseFPN is a multi-scale feature propagation module that establishes more flexible information flows by adopting inter-level residual connections, cross-level dense connections, and feature re-weighting strategy. Leveraging the attention mechanism, SCP further augments the features by aggregating global spatial context into local regions. For each instance, HRoIE adaptively generates RoI features for different downstream tasks. We carry out extensive evaluation of the proposed scheme on the challenging iSAID, DIOR, NWPU VHR-10, and HRSID datasets. The evaluation results demonstrate that the proposed approach outperforms state-of-the-arts with similar computational costs. Code is available at https://github.com/yeliudev/CATNet.

研究动机与目标

• 解决自然图像实例分割模型在应用于俯视遥感图像时性能下降的问题。
• 克服遥感图像中尺度变化大、对比度低以及目标聚集分布带来的挑战。
• 通过在特征、空间和实例三个层次聚合全局视觉上下文，改善特征表示。
• 设计轻量级、即插即用的模块，以增强特征提取，同时显著降低计算成本。

提出的方法

• 提出 DenseFPN，一种具有跨层残差连接、跨层密集连接和特征重加权的多尺度特征金字塔，以改善跨尺度的信息流动。
• 引入空间上下文金字塔（SCP），利用注意力机制将全局空间上下文注入局部特征区域。
• 开发分层感兴趣区域提取器（HRoIE），以自适应方式为每个实例生成针对不同下游任务定制的 RoI 特征。
• 将三个模块——DenseFPN、SCP 和 HRoIE——整合到统一网络中，实现端到端训练与推理。
• 在 DenseFPN 中采用基于注意力的特征重加权，以突出特征图中信息量丰富的特征。
• 设计模块为轻量级且即插即用，便于轻松集成到现有实例分割框架中。

实验结果

研究问题

• RQ1 如何在不同层次——特征、空间和实例——有效聚合全局视觉上下文，以提升遥感图像中的实例分割性能？
• RQ2 轻量级、即插即用的模块在具有尺度变化和低对比度的遥感图像中，能在多大程度上增强特征表示？
• RQ3 结合多尺度、空间和实例级别上下文聚合的统一网络架构，是否能超越现有最先进方法？
• RQ4 所提出的 CATNet 在具有不同目标分布和图像特性的多样化遥感基准上表现如何？

主要发现

• CATNet 在 iSAID 数据集上实现了最先进性能，在相似计算预算下优于先前方法。
• 在 DIOR 数据集上，CATNet 展现出对多样化场景类别和物体尺度的优越泛化能力。
• 该模型在 NWPU VHR-10 和 HRSID 数据集上均实现稳定提升，尤其在处理聚集分布和小尺度目标方面表现优异。
• 消融实验表明，DenseFPN、SCP 和 HRoIE 每个组件均对整体性能提升有显著贡献。
• 模块的轻量级设计确保了与基线模型相比，推理时间与参数量的增加可忽略不计。
• SCP 中基于注意力的上下文聚合增强了特征判别力，尤其在低对比度和杂乱区域表现更优。