[论文解读] DiRS: On Creating Benchmark Datasets for Remote Sensing Image Interpretation

Yang Long, Gui-Song Xia+6 more|arXiv (Cornell University)|Jun 22, 2020

Remote-Sensing Image Classification参考文献 103被引用 17

一句话总结

本文提出了DiRS框架——具备多样性、丰富性和可扩展性——以指导遥感（RS）图像理解任务中大规模基准数据集的高效构建。该框架提出了Million-AID，一个包含一百万条实例的遥感场景分类数据集，展示了其在推动数据驱动型遥感研究方面的实际可行性。

ABSTRACT

The past decade has witnessed great progress on remote sensing (RS) image interpretation and its wide applications. With RS images becoming more accessible than ever before, there is an increasing demand for the automatic interpretation of these images, where benchmark datasets are essential prerequisites for developing and testing intelligent interpretation algorithms. After reviewing existing benchmark datasets in the research community of RS image interpretation, this article discusses the problem of how to efficiently prepare a suitable benchmark dataset for RS image analysis. Specifically, we first analyze the current challenges of developing intelligent algorithms for RS image interpretation with bibliometric investigations. We then present some principles, i.e., diversity, richness, and scalability (called DiRS), on constructing benchmark datasets in efficient manners. Following the DiRS principles, we also provide an example on building datasets for RS image classification, i.e., Million-AID, a new large-scale benchmark dataset containing million instances for RS scene classification. Several challenges and perspectives in RS image annotation are finally discussed to facilitate the research in benchmark dataset construction. We do hope this paper will provide RS community an overall perspective on constructing large-scale and practical image datasets for further research, especially data-driven ones.

研究动机与目标

• 应对遥感图像理解领域日益增长的高质量、大规模基准数据集需求，以支持数据驱动型研究。
• 通过现有数据集的文献计量分析，识别当前遥感数据集构建中的关键挑战。
• 建立一个系统化的框架——DiRS（多样性、丰富性、可扩展性）——以指导基准数据集的系统化与高效构建。
• 通过构建Million-AID这一大规模数据集（包含一百万条实例）来验证该框架的可行性，用于遥感场景分类。
• 突出遥感图像标注中的持续性挑战，并为未来数据集开发提出方向。

提出的方法

• 开展文献计量研究，分析现有遥感基准数据集的趋势与局限性。
• 定义DiRS原则：多样性（场景、传感器和条件的多样性）、丰富性（全面的标注与元数据）以及可扩展性（高效的数据收集与扩展机制）。
• 应用DiRS框架设计并构建Million-AID，一个用于遥感场景分类的大规模数据集。
• 通过在可行范围内采用自动化数据收集与标注流程，确保可扩展性。
• 整合多样化的数据源，包括多种传感器和地理区域，以增强数据集的多样性。
• 采用标准化的评估协议，以确保算法基准测试的可复现性与公平性。

实验结果

研究问题

• RQ1 如何系统化地构建遥感图像理解的基准数据集，以支持可扩展且多样化的算法开发？
• RQ2 当前遥感图像理解基准数据集存在哪些关键局限与空白？
• RQ3 DiRS原则（多样性、丰富性、可扩展性）在多大程度上能提升遥感基准数据集的质量与实用性？
• RQ4 基于DiRS框架构建的Million-AID数据集，在规模与代表性方面相较于现有基准有何表现？
• RQ5 遥感图像标注仍面临哪些挑战，未来数据集构建中应如何应对？

主要发现

• DiRS框架为构建大规模、实用的遥感图像理解基准数据集提供了结构化方法。
• 在DiRS原则指导下构建的Million-AID包含一百万条用于遥感场景分类的标注实例，显著扩大了现有数据集的规模。
• 文献计量分析表明，当前基准数据集在场景类型、传感器和地理覆盖范围方面普遍缺乏多样性。
• 该框架通过强调可扩展性与丰富标注，实现了高效的数据集构建，减少了对人工整理的依赖。
• 标注的丰富性（如详细的场景标签与元数据）显著提升了数据集在训练与评估智能算法方面的实用性。
• 遥感图像标注中的持续性挑战，包括类别不平衡与领域偏移，仍是未来数据集开发中亟需解决的关键问题。