[论文解读] FAIR1M: A Benchmark Dataset for Fine-grained Object Recognition in High-Resolution Remote Sensing Imagery

Xian Sun, Peijin Wang+12 more|arXiv (Cornell University)|Mar 9, 2021

Remote-Sensing Image Classification参考文献 52被引用 10

一句话总结

该论文介绍了 FAIR1M，这是一个大规模基准数据集，包含超过100万条实例和15,000幅高分辨率遥感图像，用于细粒度目标检测与识别。该数据集包含5个主要类别和37个子类别，通过定向边界框、地理元数据和高图像质量进行标注，使最先进模型在具有挑战性、多样化且真实的遥感场景中实现性能提升。

ABSTRACT

With the rapid development of deep learning, many deep learning-based approaches have made great achievements in object detection task. It is generally known that deep learning is a data-driven method. Data directly impact the performance of object detectors to some extent. Although existing datasets have included common objects in remote sensing images, they still have some limitations in terms of scale, categories, and images. Therefore, there is a strong requirement for establishing a large-scale benchmark on object detection in high-resolution remote sensing images. In this paper, we propose a novel benchmark dataset with more than 1 million instances and more than 15,000 images for Fine-grAined object recognItion in high-Resolution remote sensing imagery which is named as FAIR1M. All objects in the FAIR1M dataset are annotated with respect to 5 categories and 37 sub-categories by oriented bounding boxes. Compared with existing detection datasets dedicated to object detection, the FAIR1M dataset has 4 particular characteristics: (1) it is much larger than other existing object detection datasets both in terms of the quantity of instances and the quantity of images, (2) it provides more rich fine-grained category information for objects in remote sensing images, (3) it contains geographic information such as latitude, longitude and resolution, (4) it provides better image quality owing to a careful data cleaning procedure. To establish a baseline for fine-grained object recognition, we propose a novel evaluation method and benchmark fine-grained object detection tasks and a visual classification task using several State-Of-The-Art (SOTA) deep learning-based models on our FAIR1M dataset. Experimental results strongly indicate that the FAIR1M dataset is closer to practical application and it is considerably more challenging than existing datasets.

研究动机与目标

• 为高分辨率遥感图像分析解决缺乏大规模、细粒度且具有地理信息的数据集的问题。
• 建立一个反映现实世界复杂性的基准，包括拥挤场景、可变的目标尺寸与方向以及类内高度差异。
• 通过提供标准化、高质量的数据集，支持深度学习模型在遥感领域细粒度识别方面的开发与评估。
• 通过将 FAIR1M 与现有数据集（如 DOTA）进行性能对比，支持跨数据集泛化研究。
• 通过全面的评估协议和基线模型，推动细粒度视觉分类与目标检测领域的研究。

提出的方法

• 从多个平台在不同地理区域收集高分辨率遥感图像（分辨率0.3m–0.8m）。
• 使用定向边界框（OBBs）对所有目标进行标注，涵盖5个主要类别和37个子类别，以支持细粒度识别。
• 将地理元数据（纬度、经度、分辨率）整合到数据集中，以增强空间上下文信息和应用相关性。
• 执行严格的数据清洗，确保高图像质量并减少噪声，从而提升模型泛化潜力。
• 使用最先进深度学习模型（如 ResNet-50、ResNet-101、MMAL-Net）建立基准，用于目标检测和细粒度视觉分类任务。
• 通过在 DOTA 和 FAIR1M 上使用 ROI Transformer 进行跨数据集验证，评估模型泛化能力与数据集的挑战程度。

实验结果

研究问题

• RQ1 与现有遥感数据集相比，FAIR1M 在规模、类别丰富度和图像质量方面有何差异？
• RQ2 地理元数据和高分辨率数据的引入在多大程度上提升了细粒度目标检测模型的性能与泛化能力？
• RQ3 与 DOTA 等现有基准相比，FAIR1M 的挑战性如何，特别是在细粒度分类与检测性能方面？
• RQ4 最先进模型是否能在 FAIR1M 上实现稳健性能，还是该数据集暴露了当前方法的局限性？
• RQ5 在 FAIR1M 上训练的模型在其他数据集上的泛化能力如何，反之亦然？

主要发现

• FAIR1M 在 15,000 幅图像中包含超过 100 万条实例，无论在图像数量还是实例数量上，均显著大于现有遥感检测数据集。
• 该数据集的细粒度分类（37 个子类别）以及定向边界框的引入，使识别任务难度高于通用目标检测数据集。
• 跨数据集评估显示，当在 DOTA 上训练的 ROI Transformer-D 模型在 FAIR1M 上测试时，mAP 下降了 27.92%，表明 FAIR1M 具有更高的复杂性和挑战性。
• MMAL-Net 在 FAIR-Airplane 子集上达到 45.18% 的 mAP，优于 ResNet-50（41.23%）和 ResNet-101（43.46%），证明其在细粒度分类中的有效性。
• 尽管在部分子类别上表现良好，MMAL-Net 在船舶和车辆的细粒度分类上仍存在困难，尤其在区分相似子类型时，凸显了该数据集的难度。
• 地理元数据和高质量图像的引入显著提升了数据集在真实应用场景中的实用性以及模型的泛化能力。