[论文解读] SAMRS: Scaling-up Remote Sensing Segmentation Dataset with Segment Anything Model

Di Wang, Jing Zhang+5 more|arXiv (Cornell University)|May 3, 2023

Remote-Sensing Image Classification被引用 48

一句话总结

该论文通过使用 SAM 与现有 RS 目标检测数据集，构建大规模遥感分割数据集（SAMRS），并展示分割预训练对遥感任务的益处。

ABSTRACT

The success of the Segment Anything Model (SAM) demonstrates the significance of data-centric machine learning. However, due to the difficulties and high costs associated with annotating Remote Sensing (RS) images, a large amount of valuable RS data remains unlabeled, particularly at the pixel level. In this study, we leverage SAM and existing RS object detection datasets to develop an efficient pipeline for generating a large-scale RS segmentation dataset, dubbed SAMRS. SAMRS totally possesses 105,090 images and 1,668,241 instances, surpassing existing high-resolution RS segmentation datasets in size by several orders of magnitude. It provides object category, location, and instance information that can be used for semantic segmentation, instance segmentation, and object detection, either individually or in combination. We also provide a comprehensive analysis of SAMRS from various aspects. Moreover, preliminary experiments highlight the importance of conducting segmentation pre-training with SAMRS to address task discrepancies and alleviate the limitations posed by limited training data during fine-tuning. The code and dataset will be available at https://github.com/ViTAE-Transformer/SAMRS.

研究动机与目标

• 通过利用 SAM 和现有检测数据集，推动遥感领域高效的像素级标注。
• 创建一个大规模、多样化的遥感分割数据集（SAMRS），包含语义、实例和边界框信息。
• 分析基于 SAM 的提示和预训练（SEP）对遥感分割性能的影响。
• 在多种遥感分割体系结构和骨干网络上评估 SEP。
• 在训练数据稀缺时展示分割预训练的实际益处。

提出的方法

• 使用 Segment Anything Model (SAM) 结合现有的遥感目标检测数据集生成像素级分割掩码。
• 通过六种提示变体（CP、H-Box、RH-Box 及其掩码对应物）将检测注释转换为掩码提示。
• 将数据集（DOTA-V2.0、FAIR1M-2.0、DIOR）裁剪/调整到适合 SAM 注释的尺寸。
• 推动多头预训练方法，以处理具有不同类别数量的多个数据集。
• 将 SAM 生成的掩码与各种骨干模型和训练方案结合，用于分割预训练（SEP）。
• 进行消融实验，以比较提示类型并评估跨架构的 SEP 效果。

实验结果

研究问题

• RQ1 当将现有检测注释转换为提示时，基于 SAM 的提示能否产生高质量的像素级遥感分割？
• RQ2 不同提示类型对基于 SAM 的遥感分割精度有何影响？
• RQ3 在 SAMRS 上进行的分割预训练是否会提升下游遥感分割性能，尤其是在标记数据有限的情况下？
• RQ4 SEP 如何在不同骨干和分割架构的遥感任务中交互作用？
• RQ5 与现有遥感分割数据集相比，SAMRS 的可扩展性与多样性优势是什么？

主要发现

• SAMRS 包含 105,090 张图像和 1,668,241 个实例，在数量级上超过了前面的遥感分割数据集。
• 在提示类型中，水平框提示（H-Box）通常能获得最佳分割性能，当只有旋转框可用时，RH-Box 也有效。
• 在 SAMRS 上的分割预训练（SEP）在多种骨干和架构上提升了下游遥感分割性能，尤其是在训练数据稀缺时。
• 在若干配置中，SEP 与 SAMRS 的组合可超越像 ImageNet 或 MAE 这样的基线预训练策略。
• 端到端模型如 Mask2Former 在 SEP 下呈现出混合收益，暗示需要针对遥感数据进行模型特定的优化。