[论文解读] A Novel Adaptive Deep Network for Building Footprint Segmentation

Amir Ziaee, Raziyeh Dehbozorgi+1 more|arXiv (Cornell University)|Feb 27, 2021

Advanced Neural Network Applications参考文献 21被引用 6

一句话总结

本文提出G2G，一种基于Pix2Pix的新型双生成器条件GAN，通过增强边界精度来提升高分辨率卫星影像中的建筑轮廓分割性能。通过结合定位特征与边缘感知特征的双生成器设计，G2G在平均IoU上相比Pix2Pix和先前方法最高提升18%，在像素准确率上提升超过10%，达到当前最先进水平。

ABSTRACT

Building footprint segmentations for high resolution images are increasingly demanded for many remote sensing applications. By the emerging deep learning approaches, segmentation networks have made significant advances in the semantic segmentation of objects. However, these advances and the increased access to satellite images require the generation of accurate object boundaries in satellite images. In the current paper, we propose a novel network-based on Pix2Pix methodology to solve the problem of inaccurate boundaries obtained by converting satellite images into maps using segmentation networks in order to segment building footprints. To define the new network named G2G, our framework includes two generators where the first generator extracts localization features in order to merge them with the boundary features extracted from the second generator to segment all detailed building edges. Moreover, different strategies are implemented to enhance the quality of the proposed networks' results, implying that the proposed network outperforms state-of-the-art networks in segmentation accuracy with a large margin for all evaluation metrics. The implementation is available at https://github.com/A2Amir/A-Novel-Adaptive-Deep-Network-for-Building-Footprint-Segmentation.

研究动机与目标

• 解决基于深度学习的高分辨率卫星影像建筑轮廓分割中长期存在的边界不准确问题。
• 通过保留标准语义分割网络中常被忽略的细粒度边缘与定位细节，提升分割精度。
• 设计一种新颖的网络架构，利用条件GAN从卫星影像生成高保真度地图，提升结构保真度。
• 证明双生成器设计在边界保持与分割精度方面优于单生成器方法。
• 在标准化基准上通过多种评估指标验证方法的鲁棒性与泛化能力，避免超参数调优带来的偏差。

提出的方法

• 提出一种受Pix2Pix启发的双生成器条件GAN框架（G2G），其中生成器1负责提取定位特征，生成器2专注于边界优化。
• 通过对抗损失与L1重建损失联合训练两个生成器，确保输出结果既真实又精确。
• 通过融合定位特征与边缘感知特征，增强预测结果的空间细节与边界锐度。
• 采用四项评估指标——像素准确率（PA）、平均准确率（MA）、平均IoU（MIoU）与频率加权IoU（FWIoU）——全面评估性能。
• 采用后处理策略，使第二生成器作为优化模块，提升第一生成器的输出质量，使其更接近真实标签的外观。
• 沿用Pix2Pix的训练流程与推荐超参数，确保公平比较，避免评估中出现超参数调优偏差。

实验结果

研究问题

• RQ1 在条件GAN框架中，双生成器架构是否能显著提升建筑轮廓分割的准确性，相比单生成器模型？
• RQ2 所提出的G2G网络在高分辨率卫星影像中，对细粒度边界与结构细节的保持程度如何？
• RQ3 在不进行超参数调优的情况下，G2G网络在IoU、像素准确率及其他标准分割指标上与最先进方法相比表现如何？
• RQ4 定位特征与边缘特定特征学习的融合是否带来可测量的分割质量提升？
• RQ5 第二生成器是否能作为有效的后处理模块，用于优化分割输出并减少边界不准确？

主要发现

• G2G的平均像素准确率达到96%，显著优于Pix2Pix（89%），与最佳性能的多任务方法（95%）持平，且在其他指标上更优。
• G2G的平均IoU达到83%，相比Pix2Pix（65%）提升18个百分点，相比多任务学习方法（70%）提升13个百分点。
• G2G的频率加权IoU为90%，展现出在各类类别上的稳健性能，尤其在处理类别不平衡数据集时表现优异。
• 第二生成器作为有效的后处理模块，能显著优化第一生成器的输出，使预测结果在边界质量上更接近真实标签。
• 消融实验证实，双生成器设计优于单生成器替代方案，验证了架构创新的有效性。
• 在全部四项评估指标上，G2G均持续优于Pix2Pix与近期的多任务学习方法，证明其在无需任何超参数优化的情况下仍具显著优势。