[论文解读] Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery

Zhuo Zheng, Yanfei Zhong+2 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 47被引用 6

一句话总结

本文提出 FarSeg，一种用于高空间分辨率遥感影像地理空间目标分割的前景感知关系网络。通过集成前景-场景关系模块以增强前景特征的区分度，并采用前景感知优化策略以平衡训练损失，FarSeg 有效降低了误报率并缓解了前景-背景类别不平衡问题，在 iSAID 验证集上实现了 63.71% 的 mIoU，达到当前最优性能。

ABSTRACT

Geospatial object segmentation, as a particular semantic segmentation task, always faces with larger-scale variation, larger intra-class variance of background, and foreground-background imbalance in the high spatial resolution (HSR) remote sensing imagery. However, general semantic segmentation methods mainly focus on scale variation in the natural scene, with inadequate consideration of the other two problems that usually happen in the large area earth observation scene. In this paper, we argue that the problems lie on the lack of foreground modeling and propose a foreground-aware relation network (FarSeg) from the perspectives of relation-based and optimization-based foreground modeling, to alleviate the above two problems. From perspective of relation, FarSeg enhances the discrimination of foreground features via foreground-correlated contexts associated by learning foreground-scene relation. Meanwhile, from perspective of optimization, a foreground-aware optimization is proposed to focus on foreground examples and hard examples of background during training for a balanced optimization. The experimental results obtained using a large scale dataset suggest that the proposed method is superior to the state-of-the-art general semantic segmentation methods and achieves a better trade-off between speed and accuracy. Code has been made available at: \url{https://github.com/Z-Zheng/FarSeg}.

研究动机与目标

• 解决高空间分辨率（HSR）遥感影像中大规模变化、高类别内背景差异以及前景-背景类别不平衡的挑战。
• 克服通用语义分割方法在大范围地球观测场景中未能显式建模前景对象的局限性。
• 降低复杂多变背景导致的地理场景中误报率。
• 通过平衡前景与背景样本之间的优化过程，提升训练效率与模型鲁棒性。
• 在地理空间目标分割任务中实现速度与精度之间的更优权衡。

提出的方法

• 设计基于特征金字塔网络（FPN）的多分支编码器，以提取多尺度特征，其中共享主干网络用于场景表征，专用前景分支用于前景特征学习。
• 引入前景-场景关系（F-S）模块，学习地理场景与前景对象之间的共生关系，通过上下文关联增强前景特征的区分度。
• 实施前景感知（F-A）优化策略，动态降低简单背景样本的权重，集中关注难分类样本，以平衡损失贡献。
• 应用归一化技术稳定损失分布，同时保持总和不变，防止训练过程中梯度消失。
• 在动态加权阶段使用退火函数（余弦、线性或多项式）以减少因难样本估计不准确导致的早期训练不稳定性。
• 调整焦点损失中的聚焦因子 γ 以调节难样本的权重，γ = 2 时取得最优性能。

实验结果

研究问题

• RQ1 显式建模前景是否能降低高空间分辨率遥感影像地理空间目标分割中的误报率？
• RQ2 前景-场景关系学习在复杂背景中如何提升前景特征的区分能力？
• RQ3 前景感知优化在训练过程中能在多大程度上缓解前景-背景类别不平衡问题？
• RQ4 在 HSR 分割任务中，聚焦因子 γ 和退火函数的最优配置是什么，以实现稳定高效的训练？
• RQ5 与当前最优的一般语义分割模型相比，所提方法是否在速度与精度之间实现了更优的平衡？

主要发现

• 前景-场景关系模块通过关联与前景相关的上下文信息，提升了特征区分度，显著降低了港口、机场等复杂场景中的误报率。
• 前景感知优化策略在基线模型和 F-S 关系增强模型上分别将 mIoU 提升 2.2% 和 3.24%，且未增加额外计算开销。
• 损失分布的归一化显著提升了训练稳定性，相比朴素的 softmax 焦点损失，mIoU 提升 2.49%。
• 余弦退火函数优于线性和多项式变体，通过实现稳定渐进的损失加权调整，带来 0.63% 的 mIoU 提升。
• 最优聚焦因子 γ = 2 在 iSAID 验证集上实现了最高的 mIoU（63.71%），而 γ = 5 导致性能下降，原因在于将噪声标签误判为难样本。
• FarSeg 在大规模 HSR 遥感数据集上实现了当前最优性能，并展现出速度与精度之间的有利权衡。