[论文解读] EarthNets: Empowering AI in Earth Observation

Zhitong Xiong, Fahong Zhang+3 more|arXiv (Cornell University)|Oct 10, 2022

Scientific Computing and Data Management被引用 60

一句话总结

本文评阅了超过400个公开的地球观测数据集，分析它们的属性以构建一个新的基准，并发布 EarthNets，以实现对遥感数据上深度学习模型的公平、可重复评估。

ABSTRACT

Earth observation (EO), aiming at monitoring the state of planet Earth using remote sensing data, is critical for improving our daily lives and living environment. With a growing number of satellites in orbit, an increasing number of datasets with diverse sensors and research domains are being published to facilitate the research of the remote sensing community. This paper presents a comprehensive review of more than 500 publicly published datasets, including research domains like agriculture, land use and land cover, disaster monitoring, scene understanding, vision-language models, foundation models, climate change, and weather forecasting. We systematically analyze these EO datasets from four aspects: volume, resolution distributions, research domains, and the correlation between datasets. Based on the dataset attributes, we propose to measure, rank, and select datasets to build a new benchmark for model evaluation. Furthermore, a new platform for EO, termed EarthNets, is released to achieve a fair and consistent evaluation of deep learning methods on remote sensing data. EarthNets supports standard dataset libraries and cutting-edge deep learning models to bridge the gap between the remote sensing and machine learning communities. Based on this platform, extensive deep-learning methods are evaluated on the new benchmark. The insightful results are beneficial to future research. The platform and dataset collections are publicly available at https://earthnets.github.io.

研究动机与目标

• 概括公开可用的EO数据集在不同任务和领域的现状。
• 提供基于属性的系统性分析，以指导数据集选择和基准测试。
• 提出一种排名与选择方法，构建面向遥感方法的大规模、公平基准。
• 发布 EarthNets 作为一个开放平台，以实现对 EO 数据上深度学习模型的公平、可重复性评估。

提出的方法

• 对400+个公开遥感数据集在图像分类、目标检测、语义分割、变化检测及其他任务进行全面评审。
• 对每个数据集提取十个属性（包括领域、年度、样本、规模、类别、模态、分辨率、体量、引用、链接）。
• 从体量、文献计量分析、分辨率分布、研究领域和数据集关系等五个维度进行系统分析。
• 对五个大规模通用数据集进行排名与筛选，以构建用于模型评估的新基准。
• 开发 EarthNets 平台，提供标准数据集库并支持前沿深度学习模型以实现公平比较。
• 在所提出的基准上评估大量深度学习方法，以为未来的 RS 研究提供洞见。

实验结果

研究问题

• RQ1 公开可用的EO数据集在不同任务和领域的关键属性是什么？
• RQ2 如何对数据集进行排名和选择，以构建面向RS方法的公平、大规模基准？
• RQ3 不同EO数据集之间的关系与相关性是什么？它们如何为新算法开发提供信息？
• RQ4 一个统一的平台（EarthNets）如何实现对遥感数据上深度学习方法的公平、可重复性评估？

主要发现

• 在多个EO任务和领域中识别并分类了超过400个公开RS数据集。
• 为每个数据集提供了十个详细属性，以便搜索和索引。
• 提出一种排名方法，选择五个大规模通用数据集并构建新的RS基准。
• 构建了数据集相关性矩阵，为跨数据集的算法开发提供新的视角。
• 发布 EarthNets 作为开放平台，以实现EO任务的公平比较和高效方法开发，公开访问地址为 earthnets.github.io。