[论文解读] A Review of Landcover Classification with Very-High Resolution Remotely Sensed Optical Images-Analysis Unit,Model Scalability and Transferability

Rongjun Qin, Tao Liu|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文针对使用超大分辨率（VHR）光学卫星影像的基于深度学习的陆地覆盖分类，进行了系统性综述，重点聚焦于分析单元、模型可扩展性与可迁移性。文章解决了数据稀疏性、类别不平衡、领域偏移及多源融合等关键挑战，为遥感图像分析领域的未来研究提供了结构化见解与建议。

ABSTRACT

As an important application in remote sensing, landcover classification remains one of the most challenging tasks in very-high-resolution (VHR) image analysis. As the rapidly increasing number of Deep Learning (DL) based landcover methods and training strategies are claimed to be the state-of-the-art, the already fragmented technical landscape of landcover mapping methods has been further complicated. Although there exists a plethora of literature review work attempting to guide researchers in making an informed choice of landcover mapping methods, the articles either focus on the review of applications in a specific area or revolve around general deep learning models, which lack a systematic view of the ever advancing landcover mapping methods. In addition, issues related to training samples and model transferability have become more critical than ever in an era dominated by data-driven approaches, but these issues were addressed to a lesser extent in previous review articles regarding remote sensing classification. Therefore, in this paper, we present a systematic overview of existing methods by starting from learning methods and varying basic analysis units for landcover mapping tasks, to challenges and solutions on three aspects of scalability and transferability with a remote sensing classification focus including (1) sparsity and imbalance of data; (2) domain gaps across different geographical regions; and (3) multi-source and multi-view fusion. We discuss in detail each of these categorical methods and draw concluding remarks in these developments and recommend potential directions for the continued endeavor.

研究动机与目标

• 为应对由于深度学习技术的快速进步，导致VHR陆地覆盖分类方法日益复杂与碎片化的问题。
• 提供基于VHR光学影像进行陆地覆盖制图的学习方法与分析单元的系统性概述。
• 探究可扩展性与可迁移性挑战，包括数据稀疏性、类别不平衡以及地理区域间的领域偏移。
• 考察多源与多视角融合技术，以提升模型泛化能力与性能。
• 为数据驱动的遥感分类未来研究提供可操作的建议。

提出的方法

• 本文对基于深度学习的陆地覆盖分类方法进行了全面综述，按分析单元（如像素、图像块或面向对象的图像分析）进行分类。
• 评估了在VHR图像分类中使用的各种深度学习架构与训练策略，强调其性能与局限性。
• 分析了与稀疏与类别不平衡训练数据相关的可扩展性问题，提出数据增强与损失重加权等技术。
• 通过领域自适应与自监督学习方法，应对不同地理区域间的领域差距挑战。
• 综述了多源与多视角融合技术，包括融合光学、SAR与上下文数据以提升模型鲁棒性。
• 整合近期文献的见解，评估模型在不同区域与传感器间的可迁移性与泛化能力。

实验结果

研究问题

• RQ1 不同的分析单元（如像素、图像块、面向对象）如何影响深度学习模型在VHR陆地覆盖分类中的性能与可扩展性？
• RQ2 在VHR遥感图像分类中，处理数据稀疏性与类别不平衡的最有效技术是什么？
• RQ3 如何减轻不同地理区域间的领域差距，以提升模型可迁移性？
• RQ4 在多源与多视角数据融合中，提升陆地覆盖分类性能的关键挑战与解决方案是什么？
• RQ5 在数据驱动的遥感应用中，提升模型可扩展性与可迁移性的最有前景方向是什么？

主要发现

• 综述指出，与像素级分类相比，基于对象与图像块的分析单元在VHR影像中通常表现更优，因其具备更好的上下文理解能力。
• 数据增强与类别重加权技术在数据稀疏与类别不平衡条件下显著提升了模型性能。
• 领域自适应方法，包括自监督学习与对抗性训练，展现出在减小区域间领域差距方面的强大潜力。
• 多源融合，特别是光学与SAR数据的结合，显著提升了复杂环境下的分类准确率与鲁棒性。
• 当模型在大规模、多样化数据集上预训练，并使用有限的目标域数据进行微调时，可迁移性得到显著改善。
• 尽管已有进展，泛化能力与可扩展性挑战依然存在，尤其在低资源与数据稀缺区域。