[论文解读] A Spacecraft Dataset for Detection, Segmentation and Parts Recognition

Dung Anh Hoang, Bo Chen+1 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Neural Network Applications参考文献 38被引用 6

一句话总结

本论文提出了首个公开可用的航天器检测、实例分割与部件识别数据集，包含3,117张卫星和空间站的标注图像，涵盖边界框、实例掩码以及细粒度的部件级标注。作者采用一种结合自动标注与迭代人工优化的自举标注策略，并对当前最先进模型进行了基准测试，结果表明：在地球基数据集上训练的现有模型在空间物体上表现显著下降，尤其在天线等复杂部件上表现更差。

ABSTRACT

Virtually all aspects of modern life depend on space technology. Thanks to the great advancement of computer vision in general and deep learning-based techniques in particular, over the decades, the world witnessed the growing use of deep learning in solving problems for space applications, such as self-driving robot, tracers, insect-like robot on cosmos and health monitoring of spacecraft. These are just some prominent examples that has advanced space industry with the help of deep learning. However, the success of deep learning models requires a lot of training data in order to have decent performance, while on the other hand, there are very limited amount of publicly available space datasets for the training of deep learning models. Currently, there is no public datasets for space-based object detection or instance segmentation, partly because manually annotating object segmentation masks is very time consuming as they require pixel-level labelling, not to mention the challenge of obtaining images from space. In this paper, we aim to fill this gap by releasing a dataset for spacecraft detection, instance segmentation and part recognition. The main contribution of this work is the development of the dataset using images of space stations and satellites, with rich annotations including bounding boxes of spacecrafts and masks to the level of object parts, which are obtained with a mixture of automatic processes and manual efforts. We also provide evaluations with state-of-the-art methods in object detection and instance segmentation as a benchmark for the dataset. The link for downloading the proposed dataset can be found on https://github.com/Yurushia1998/SatelliteDataset.

研究动机与目标

• 为航空航天应用中的深度学习解决公开可用、高质量空间数据集严重缺乏的关键问题。
• 通过真实与合成的空间图像，推动航天器检测、实例分割与细粒度部件识别的研究。
• 通过结合自动标注与迭代人工优化的自举策略，降低标注成本。
• 建立评估最先进模型在空间特异性视觉挑战下性能的基准。

提出的方法

• 该数据集由从多个来源收集的3,117张真实与合成的卫星和空间站图像构建而成。
• 采用混合标注流程：先通过交互式工具进行初始人工标注，随后使用模型进行粗略标注，再经人工进一步优化。
• 通过自举策略，利用已有标注数据迭代改进新图像的模型预测，显著提升标注效率。
• 在数据集上使用标准训练协议，对最先进深度学习模型（包括DeepLabV3+、OCRNet、HRNet和ResNeSt）进行训练与评估。
• 训练图像调整为1024×512，验证图像调整为2048×1024，采用标准优化方法（SGD，权重衰减），并引入辅助头以提升性能。
• 通过所有类别及各部件类别的mIoU评估性能，同时提供包含与不包含背景类别的独立指标。

实验结果

研究问题

• RQ1 最先进分割模型在航天器图像上的表现，与它们在Cityscapes和Pascal VOC等标准地球基数据集上的表现相比如何？
• RQ2 自动化与半自动化标注技术在多大程度上可降低空间物体像素级分割掩码的创建成本与时间？
• RQ3 由于形状复杂多变，航天器部件（如天线、太阳翼和主体）在分割时面临哪些关键挑战？
• RQ4 在未进行微调或领域自适应的情况下，仅在地球基数据上预训练的模型能否有效泛化到空间视觉任务？
• RQ5 背景像素的包含如何影响空间图像中分割模型的评估？排除背景后性能差距如何？

主要发现

• 在完整航天器分割任务中，ResNeSt200模型的mIoU达到0.790，其中主体部分为0.767，太阳翼为0.878，而天线仅为0.640。
• 天线的mIoU（0.585–0.650）显著低于主体（0.834–0.842）与太阳翼（0.839–0.878），表明识别复杂不规则形状部件极具挑战。
• 在Earth-based数据集（如Cityscapes和Pascal VOC）上训练的最先进模型，其平均mIoU分别为0.859和0.824，比本研究数据集中表现最佳的模型高出6%至11%。
• Earth-based与space-based分割任务之间的性能差距显著，本研究数据集中最佳模型的mIoU仅达到Pascal VOC上模型平均mIoU的74.9%。
• 定性结果表明，所有模型在复杂构型下均难以准确预测天线掩码，与定量mIoU结果一致，凸显了对领域特定模型设计的迫切需求。
• 自举标注策略成功降低了人工工作量，同时保持了高标注质量，使在有限人力投入下构建大规模、细粒度标注数据集成为可能。