[论文解读] Adversarial Loss for Semantic Segmentation of Aerial Imagery

Clint Sebastian, Raffaele Imbriaco+2 more|arXiv (Cornell University)|Jan 13, 2020

Automated Road and Building Extraction参考文献 20被引用 8

一句话总结

该论文提出了一种新颖的损失函数，结合对抗性损失与交叉熵损失，以提升航空影像语义分割性能，特别针对建筑物提取任务。通过利用对抗性训练，该方法在无需后处理的情况下增强了结构连贯性与边缘细化效果，在使用 DeepLab v3+ 的 Massachusetts Buildings 数据集上实现了 95.59% 的新最先进松弛 F₁ 分数。

ABSTRACT

Automatic building extraction from aerial imagery has several applications in urban planning, disaster management, and change detection. In recent years, several works have adopted deep convolutional neural networks (CNNs) for building extraction, since they produce rich features that are invariant against lighting conditions, shadows, etc. Although several advances have been made, building extraction from aerial imagery still presents multiple challenges. Most of the deep learning segmentation methods optimize the per-pixel loss with respect to the ground truth without knowledge of the context. This often leads to imperfect outputs that may lead to missing or unrefined regions. In this work, we propose a novel loss function combining both adversarial and cross-entropy losses that learn to understand both local and global contexts for semantic segmentation. The newly proposed loss function deployed on the DeepLab v3+ network obtains state-of-the-art results on the Massachusetts buildings dataset. The loss function improves the structure and refines the edges of buildings without requiring any of the commonly used post-processing methods, such as Conditional Random Fields. We also perform ablation studies to understand the impact of the adversarial loss. Finally, the proposed method achieves a relaxed F1 score of 95.59% on the Massachusetts buildings dataset compared to the previous best F1 of 94.88%.

研究动机与目标

• 为解决标准逐像素交叉熵损失在航空影像语义分割中的局限性，该损失常导致预测结果不完整或结构不佳。
• 通过对抗性训练引入全局上下文理解，提升结构连贯性与边缘定义，从而改善分割质量。
• 通过将上下文优化直接嵌入损失函数，消除对后处理技术（如条件随机场 CRFs）的依赖。
• 在 Massachusetts Buildings 数据集上，通过轻量化、高效的训练流程实现最先进性能。

提出的方法

• 提出一种混合损失函数，结合标准交叉熵损失与来自判别器网络的对抗性损失，该判别器网络被训练以区分真实真实掩码与生成的预测结果。
• 端到端训练分割网络，结合联合损失函数，使生成器（分割网络）能够生成更具真实感和结构准确性的输出。
• 采用 PatchGAN 判别器评估局部与全局图像级真实性，促使模型学习高层次上下文特征。
• 将损失函数应用于多种架构（包括 DeepLab v3+、PSPNet 和 FC-DenseNet），以验证其泛化能力。
• 采用数据增强技术以提升模型在低数据场景下的鲁棒性与泛化能力。
• 推理阶段丢弃判别器，确保无额外计算开销。

实验结果

研究问题

• RQ1 对抗性训练是否能在标准交叉熵损失之外，进一步提升航空影像语义分割的结构质量与边界精度？
• RQ2 将对抗性损失与逐像素交叉熵损失结合，是否能减少在建筑物分割中对 CRFs 等后处理技术的依赖？
• RQ3 所提出的损失函数在 Massachusetts Buildings 数据集上对不同主干网络架构的性能表现如何？
• RQ4 对抗性组件在多大程度上增强了上下文理解能力，并减少了建筑物分割中的误报与漏报？

主要发现

• 所提方法在 Massachusetts Buildings 数据集上实现了 95.59% 的松弛 F₁ 分数，超越了此前最先进水平的 94.88%。
• 在 FC-DenseNet 上应用对抗性损失后，松弛 F₁ 分数提升了 1.26 个百分点，松弛 IoU 提升了 2.28 个百分点。
• 该方法在 PSPNet 和 FC-DenseNet 上均一致提升了所有评估指标（准确率、F₁、IoU），表明其在不同架构间具有良好的泛化能力。
• 对抗性损失有效细化了边缘并填补了缺失区域，生成了更连贯、更真实的建筑物掩码，且无需后处理。
• 消融实验证实，对抗性组件本身对性能提升有显著贡献，尤其在结构保真度与边界精度方面。
• 该方法在无额外推理开销的前提下实现 SOTA 结果，因为判别器在推理阶段已被移除。