[论文解读] EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover Classification

Patrick Helber, Benjamin Bischke+2 more|arXiv (Cornell University)|Aug 31, 2017

Remote-Sensing Image Classification被引用 62

一句话总结

介绍 EuroSAT 数据集，该数据集包含 27,000 个地理定位的 Sentinel-2 图像块，覆盖 10 个类别，并对 CNN 进行了基准测试，在 RGB 数据上最高达到 98.57% 准确率。

ABSTRACT

In this paper, we address the challenge of land use and land cover classification using Sentinel-2 satellite images. The Sentinel-2 satellite images are openly and freely accessible provided in the Earth observation program Copernicus. We present a novel dataset based on Sentinel-2 satellite images covering 13 spectral bands and consisting out of 10 classes with in total 27,000 labeled and geo-referenced images. We provide benchmarks for this novel dataset with its spectral bands using state-of-the-art deep Convolutional Neural Network (CNNs). With the proposed novel dataset, we achieved an overall classification accuracy of 98.57%. The resulting classification system opens a gate towards a number of Earth observation applications. We demonstrate how this classification system can be used for detecting land use and land cover changes and how it can assist in improving geographical maps. The geo-referenced dataset EuroSAT is made publicly available at https://github.com/phelber/eurosat.

研究动机与目标

• 引入一个基于 Sentinel-2 图像的大规模、免费获取的土地利用/土地覆被数据集。
• 提供用于深度学习模型的多光谱基准（13 波段）。
• 评估单波段与波段组合输入，以识别最具信息量的光谱信息。
• 展示基线在土地变化检测和地图更新中的应用性。
• 发布一个地理参照版本，以促进对地球观测数据的广泛机器学习研究。

提出的方法

• 从 Sentinel-2A 数据中，在 34 个欧洲国家，组装 27,000 个带地理参照的标注 64x64 图像块。
• 提供用于基准测试的 EuroSAT 的 RGB 版本和多光谱（13 波段）版本。
• 在 ImageNet (ILSVRC-2012) 预训练的基础上，对 CNN 架构（GoogLeNet 和 ResNet-50）进行微调并进行土地利用/土地覆被分类的比较。
• 评估单波段输入与波段组合输入，包括 RGB、CI（color-infrared）和 SWIR 配置。
• 分析各类别混淆并提供波段重要性评估，以确定最具信息量的光谱波段。

实验结果

研究问题

• RQ1 在 RGB 与多光谱输入下，最先进的 CNN 在使用时，能够在 EuroSAT 数据集上达到怎样的分类准确率？
• RQ2 Sentinel-2 的 13 个光谱带单独及组合时在土地利用/土地覆被分类中的表现如何？
• RQ3 在 ImageNet 上进行预训练对 EuroSAT 微调是否比从头开始训练更有利？
• RQ4 该数据集是否能够支持土地利用/土地覆被变化检测和地图更新的应用？

主要发现

Method	UCM	AID	SAT-6	BCS	EuroSAT
ResNet-50	96.42	94.38	99.56	93.57	98.57
GoogLeNet	97.32	93.99	98.29	92.70	98.18

• CNN 基准（ResNet-50 和 GoogLeNet）在 EuroSAT 上取得了最先进的性能，ResNet-50 在 RGB 输入上达到 98.57% 的准确率（80/20 划分）。
• RGB 波段组合优于单一波段和其他波段组合，当使用 ResNet-50 时，达到 98.57%（RGB）对比 98.30%（CI）和 97.05%（SWIR）。
• 单波段实验显示 RGB 通常更优；某些波段如 Red Edge 1 (B05) 和 SWIR 2 (B12) 在上采样到 10 m 时也能产生强的结果。
• CNNs 在各数据集上都优于 Bag-of-Visual-Words 基线和较浅的网络；预训练网络在 EuroSAT 上的准确率大约高出 2%。
• 该数据集通过将补丁级分类应用于时间分离影像的滑动窗口分析，促进变化检测和制图辅助。