[论文解读] Accurate Polygonal Mapping of Buildings in Satellite Imagery

Bowen Xu, Jiakun Xu+2 more|arXiv (Cornell University)|Aug 1, 2022

Remote-Sensing Image Classification被引用 12

一句话总结

该论文提出HiSup，一种新颖的深度学习框架，通过在顶点、线段（通过吸引力场）和区域掩码之间引入分层监督，实现卫星影像中建筑物的精确多边形映射。通过整合跨层级特征交互以确保掩码可逆性，HiSup实现了最先进性能，在AICrowd和Inria基准测试中分别取得78.8%的AP和88.2%的IoU。

ABSTRACT

This paper studies the problem of polygonal mapping of buildings by tackling the issue of mask reversibility that leads to a notable performance gap between the predicted masks and polygons from the learning-based methods. We addressed such an issue by exploiting the hierarchical supervision (of bottom-level vertices, mid-level line segments and the high-level regional masks) and proposed a novel interaction mechanism of feature embedding sourced from different levels of supervision signals to obtain reversible building masks for polygonal mapping of buildings. As a result, we show that the learned reversible building masks take all the merits of the advances of deep convolutional neural networks for high-performing polygonal mapping of buildings. In the experiments, we evaluated our method on the two public benchmarks of AICrowd and Inria. On the AICrowd dataset, our proposed method obtains unanimous improvements on the metrics of AP, APboundary and PoLiS. For the Inria dataset, our proposed method also obtains very competitive results on the metrics of IoU and Accuracy. The models and source code are available at https://github.com/SarahwXU.

研究动机与目标

• 解决卫星影像中建筑物提取时预测掩码与真实多边形之间的性能差距。
• 克服掩码可逆性问题，即学习到的掩码无法准确重建多边形轮廓。
• 通过利用多层级几何监督（顶点、线段和区域掩码）提升多边形映射的准确性。
• 设计统一的特征嵌入机制，在保持高语义理解的同时保留形状正确性。
• 实现端到端可微训练，最小化掩码预测与多边形标注之间的差异。

提出的方法

• 引入三级分层监督：底层关键点（顶点）、中层吸引力场（AFM）表示线段，高层区域掩码。
• 提出一种新颖的跨层级特征交互机制，将不同监督层级的特征融合为统一的、形状感知的嵌入表示。
• 利用区域吸引力场（AFM）作为连接点级关键点与区域级掩码的桥梁，实现几何一致性。
• 采用多任务监督进行端到端训练：掩码预测、关键点检测和AFM估计。
• 仅在最终可逆掩码上应用标准后处理（如Douglas-Peucker）以生成精确多边形。
• 采用UResNet101和HRNet骨干网络，评估不同架构下的鲁棒性与可扩展性。

实验结果

研究问题

• RQ1 在顶点、线段和区域掩码之间实施分层监督，能否提升预测掩码在多边形映射中的可逆性？
• RQ2 所提出的跨层级特征交互机制如何增强掩码预测与真实多边形之间的对齐？
• RQ3 中层级吸引力场监督在建筑物多边形化中，相较于边缘或帧场监督，优势有多大？
• RQ4 多层级监督的整合是否能在AICrowd和Inria等多样化基准上带来一致的性能提升？
• RQ5 在HiSup框架下，不同骨干网络架构（如UResNet101与HRNet）对最终多边形化性能有何影响？

主要发现

• 在AICrowd数据集上，HiSup取得78.8%的AP，较之前最先进方法（Frame-Field）提升5.1个百分点。
• HiSup的边界AP达到66.3%，显著优于Frame-Field方法（57.9%），并将PoLiS分数从0.984降低至0.737。
• 消融实验表明，结合AFM嵌入的跨层级特征交互机制使AP较基线提升1.5个百分点，较仅使用AFM头的模型提升0.5个百分点。
• 采用HRNetV2-W32作为骨干网络时性能最佳，AP达76.2%，C-IoU达88.1%，优于UResNet101和HRNetV2-W18。
• 该方法展现出强大的泛化能力，在Inria基准上取得88.2%的IoU和高精度，表现具有竞争力。
• 系统性消融分析表明，AFM监督在掩码定位和关键点检测方面贡献最大，优于边缘和帧场监督。