[论文解读] LoveDA: A Remote Sensing Land-Cover Dataset for Domain Adaptive Semantic Segmentation

Junjue Wang, Zhuo Zheng+3 more|arXiv (Cornell University)|Oct 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 55被引用 161

一句话总结

LoveDA 引入了一个具有城市和农村域的高分辨率遥感土地覆盖数据集，用于研究语义分割和无监督域自适应，并在多种模型和UDA方法上进行了基准测试。

ABSTRACT

Deep learning approaches have shown promising results in remote sensing high spatial resolution (HSR) land-cover mapping. However, urban and rural scenes can show completely different geographical landscapes, and the inadequate generalizability of these algorithms hinders city-level or national-level mapping. Most of the existing HSR land-cover datasets mainly promote the research of learning semantic representation, thereby ignoring the model transferability. In this paper, we introduce the Land-cOVEr Domain Adaptive semantic segmentation (LoveDA) dataset to advance semantic and transferable learning. The LoveDA dataset contains 5987 HSR images with 166768 annotated objects from three different cities. Compared to the existing datasets, the LoveDA dataset encompasses two domains (urban and rural), which brings considerable challenges due to the: 1) multi-scale objects; 2) complex background samples; and 3) inconsistent class distributions. The LoveDA dataset is suitable for both land-cover semantic segmentation and unsupervised domain adaptation (UDA) tasks. Accordingly, we benchmarked the LoveDA dataset on eleven semantic segmentation methods and eight UDA methods. Some exploratory studies including multi-scale architectures and strategies, additional background supervision, and pseudo-label analysis were also carried out to address these challenges. The code and data are available at https://github.com/Junjue-Wang/LoveDA.

研究动机与目标

• 引入一个具有城市和农村域的具有挑战性的高分辨率土地覆盖数据集，以研究域可转移性。
• 为 LoveDA 上的语义分割和无监督域自适应提供基准。
• 分析多尺度对象、复杂背景和不一致的类别分布等挑战，为未来方法提供指引。

提出的方法

• 从中国三个城市的18个区域收集0.3 m分辨率的图像，并构建两域（城市与农村）分割。
• 以像素级标注8个土地覆盖类别，并确保训练/验证/测试在空间上相互独立。
• 在 LoveDA 上基准测试11种语义分割模型和8种UDA方法，以建立基线。
• 研究多尺度架构和策略、额外的背景监督以及伪标签分析以应对挑战。
• 提供基线训练细节，包括数据增强、优化和骨干网络预训练信息。
• 公开代码和数据以实现结果复现。

实验结果

研究问题

• RQ1 最先进的分割模型在 LoveDA 中在城市和农村域之间的泛化能力如何？
• RQ2 对跨域土地覆盖分割，对抗性与自训练的UDA方法有多有效？
• RQ3 多尺度策略和背景监督对 LoveDA 中的分割精度有何影响？
• RQ4 伪标签分析（如 CBST）在目标类别分布不一致的情况下对UDA性能有何影响？

主要发现

• LoveDA 通过包含具有不一致类别分布的城市与农村域，使跨域评估成为可能。
• HRNet 在所测试的体系结构中实现了强大的分割性能，并且受益于多尺度融合。
• 训练和测试阶段的多尺度增强（MSTrTe）显著提升了各方法的 mIoU。
• 背景监督提升分割，特别是对具有挑战性的背景类别。
• 在UDA中，由于跨域的类别分布不匹配，自训练方法通常优于对抗方法。
• CBST伪标签对目标类别比例具有鲁棒性，在适当调整下可显著提升跨域性能。