[论文解读] BigEarthNet Dataset with A New Class-Nomenclature for Remote Sensing Image Understanding

Gencer Sumbül, Jian Kang+6 more|arXiv (Cornell University)|Jan 17, 2020

Remote-Sensing Image Classification参考文献 23被引用 16

一句话总结

本文介绍了 BigEarthNet，这是一个大规模的 Sentinel-2 多光谱图像数据集，采用基于 CORINE 土地覆盖三级类别的新型 19 类命名体系，旨在提升遥感图像理解中的深度学习性能。通过根据 Sentinel-2 的光谱和空间特性重新组织语义标签，基于 BigEarthNet 从零开始训练的模型在复杂类别（如农业和自然植被）上的表现优于 ImageNet 预训练模型。

ABSTRACT

This paper presents BigEarthNet that is a large-scale Sentinel-2 multispectral image dataset with a new class nomenclature to advance deep learning (DL) studies in remote sensing (RS). BigEarthNet is made up of 590,326 image patches annotated with multi-labels provided by the CORINE Land Cover (CLC) map of 2018 based on its most thematic detailed Level-3 class nomenclature. Initial research demonstrates that some CLC classes are challenging to be accurately described by considering only Sentinel-2 images. To increase the effectiveness of BigEarthNet, in this paper we introduce an alternative class-nomenclature to allow DL models for better learning and describing the complex spatial and spectral information content of the Sentinel-2 images. This is achieved by interpreting and arranging the CLC Level-3 nomenclature based on the properties of Sentinel-2 images in a new nomenclature of 19 classes. Then, the new class-nomenclature of BigEarthNet is used within state-of-the-art DL models in the context of multi-label classification. Results show that the models trained from scratch on BigEarthNet outperform those pre-trained on ImageNet, especially in relation to some complex classes including agriculture, other vegetated and natural environments. All DL models are made publicly available at http://bigearth.net/#downloads, offering an important resource to guide future progress on RS image analysis.

研究动机与目标

• 解决现有遥感数据集中 CORINE 土地覆盖主题类别与 Sentinel-2 图像光谱-空间内容之间不匹配的问题。
• 开发一种针对 Sentinel-2 多光谱图像特性量身定制的新类别命名体系，以增强语义一致性与模型学习能力。
• 通过在新数据集上从零开始训练最先进深度学习模型，实现多标签遥感图像分类任务中的更优性能。
• 提供一个公开可用、大规模的基准数据集，具备标准化、可解释的标签，以加速遥感图像分析领域的研究。

提出的方法

• 从欧洲范围内的 Sentinel-2 多光谱影像中提取了 590,326 个图像块。
• 基于 Sentinel-2 的光谱和空间可解释性，将 CORINE 土地覆盖三级类别映射到一种新型简化 19 类命名体系。
• 利用 2018 年 CORINE 土地覆盖地图的多标签注释，为每个图像块分配语义标签。
• 设计了一种类别命名体系，将语义相似且光谱一致的类别进行分组，以提升模型泛化能力。
• 使用新的 19 类标签体系，在 BigEarthNet 上从零开始训练最先进深度学习模型。
• 在多标签分类任务上评估模型性能，并与 ImageNet 预训练模型的结果进行比较。

实验结果

研究问题

• RQ1 基于 Sentinel-2 图像特性的重构类别命名体系是否能提升遥感图像分类中的深度学习性能？
• RQ2 在 BigEarthNet 上从零开始训练深度学习模型与在复杂土地覆盖类别上微调 ImageNet 预训练模型相比，表现如何？
• RQ3 新的 19 类命名体系在多大程度上提升了模型对农业和自然植被等具有挑战性的类别的区分能力？
• RQ4 所提出的数据集和标注方案是否支持对 Sentinel-2 影像中复杂空间与光谱模式更准确、更具可解释性的表征？

主要发现

• 使用新型 19 类命名体系在 BigEarthNet 上从零开始训练的模型，在多标签遥感图像分类任务中优于 ImageNet 预训练模型。
• 性能提升在复杂且视觉相似的类别（如农业、其他植被区域和自然环境）上最为显著。
• 新的类别命名体系通过将 CORINE 三级类别与 Sentinel-2 影像的光谱和空间特性对齐，提升了语义一致性和可解释性。
• 该数据集的设计有助于提升模型泛化能力，特别是在区分标准命名体系难以分类的细微土地覆盖类型差异方面。
• 所有在 BigEarthNet 上训练的深度学习模型均公开可用，有助于实现可复现性，并推动遥感领域的进一步研究。