[论文解读] Learning to Aggregate Multi-Scale Context for Instance Segmentation in Remote Sensing Images

Ye Liu, Huifang Li+4 more|arXiv (Cornell University)|Nov 22, 2021

Remote-Sensing Image Classification被引用 14

一句话总结

该论文提出CATNet，一种轻量级、即插即用的遥感图像实例分割框架，通过在特征、空间和实例三个领域聚合全局上下文来增强判别性特征。通过集成DenseFPN、SCP和HRoIE模块，CATNet在iSAID、DIOR、NWPU VHR-10和HRSID数据集上实现了最先进性能，且计算开销极低。

ABSTRACT

The task of instance segmentation in remote sensing images, aiming at performing per-pixel labeling of objects at instance level, is of great importance for various civil applications. Despite previous successes, most existing instance segmentation methods designed for natural images encounter sharp performance degradations when they are directly applied to top-view remote sensing images. Through careful analysis, we observe that the challenges mainly come from the lack of discriminative object features due to severe scale variations, low contrasts, and clustered distributions. In order to address these problems, a novel context aggregation network (CATNet) is proposed to improve the feature extraction process. The proposed model exploits three lightweight plug-and-play modules, namely dense feature pyramid network (DenseFPN), spatial context pyramid (SCP), and hierarchical region of interest extractor (HRoIE), to aggregate global visual context at feature, spatial, and instance domains, respectively. DenseFPN is a multi-scale feature propagation module that establishes more flexible information flows by adopting inter-level residual connections, cross-level dense connections, and feature re-weighting strategy. Leveraging the attention mechanism, SCP further augments the features by aggregating global spatial context into local regions. For each instance, HRoIE adaptively generates RoI features for different downstream tasks. Extensive evaluations of the proposed scheme on iSAID, DIOR, NWPU VHR-10, and HRSID datasets demonstrate that the proposed approach outperforms state-of-the-arts under similar computational costs. Source code and pre-trained models are available at https://github.com/yeliudev/CATNet.

研究动机与目标

• 为解决自然图像实例分割模型在遥感图像上因尺度变化、对比度低和目标聚集分布导致的性能不佳问题。
• 通过显式建模三种不同领域（特征、空间和实例）中的全局上下文，增强判别性目标特征。
• 设计轻量级、即插即用的模块，可轻松集成到现有实例分割流水线中，且计算成本显著降低。
• 通过消融研究和在标准遥感基准上的对比，验证多领域上下文聚合的有效性。

提出的方法

• 提出DenseFPN，一种具有层间残差连接、跨层密集连接和特征重加权的多尺度特征金字塔网络，以改善特征层级之间的信息流动。
• 提出空间上下文金字塔（SCP），利用注意力机制将全局空间上下文聚合到局部特征中，增强每一金字塔层级的表征能力。
• 设计分层感兴趣区域提取器（HRoIE），自适应地融合来自多个特征层级的RoI特征，为检测和分割任务定制化表征。
• 采用自粗到精的处理顺序：首先由DenseFPN校准各层级的特征语义，随后由SCP处理空间上下文，最后由HRoIE完成实例特定的细化。
• 采用模块化、即插即用的设计，使各组件可独立添加至现有模型中，FLOPs增加极少，推理速度损失可接受（约比基线慢20%）。
• 进行消融研究以验证各组件的贡献及最优模块顺序，结果表明DenseFPN后接SCP可获得最佳性能。

实验结果

研究问题

• RQ1 如何有效聚合来自不同领域（特征、空间和实例）的全局上下文，以提升遥感图像实例分割中的特征判别能力？
• RQ2 多尺度上下文聚合模块的最优架构顺序是什么，才能在保持效率的同时最大化性能？
• RQ3 能否设计出轻量级、即插即用的模块，在不显著增加计算成本的前提下增强现有实例分割模型？
• RQ4 注意力机制驱动的空间上下文聚合与自适应RoI特征融合的结合，对在具有挑战性的遥感基准上的性能有何影响？

主要发现

• 在iSAID、DIOR、NWPU VHR-10和HRSID数据集上，CATNet在相似计算成本下优于现有最先进方法，展现出卓越的泛化能力。
• 消融研究证实，DenseFPN、SCP和HRoIE三个模块均独立且协同贡献于性能提升，各组件之间无干扰。
• 最优模块顺序为DenseFPN → SCP → HRoIE，该顺序实现了自粗到精的上下文聚合，依次提升特征校准、空间上下文建模和实例特定细化能力。
• 仅添加一个或两个模块时，效率仅下降约10%；完整模型比基线慢约20%，该性能损失在实际应用中仍可接受。
• CATNet的轻量化版本（DenseFPN为单层，HRoIE通道数为128）在推理速度上超过基线，同时保持更高精度。