[论文解读] iSAID: A Large-scale Dataset for Instance Segmentation in Aerial Images

Syed Waqas Zamir, Aditya Arora+8 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 33被引用 161

一句话总结

iSAID 引入了一个用于航空影像实例分割的大规模、密集标注数据集，涵盖 15 个类别和 655,451 个实例，覆盖 2,806 幅高分辨率图像，并对常用方法（Mask R-CNN、PANet）进行基准测试，揭示了对空中专用解法的需求。

ABSTRACT

Existing Earth Vision datasets are either suitable for semantic segmentation or object detection. In this work, we introduce the first benchmark dataset for instance segmentation in aerial imagery that combines instance-level object detection and pixel-level segmentation tasks. In comparison to instance segmentation in natural scenes, aerial images present unique challenges e.g., a huge number of instances per image, large object-scale variations and abundant tiny objects. Our large-scale and densely annotated Instance Segmentation in Aerial Images Dataset (iSAID) comes with 655,451 object instances for 15 categories across 2,806 high-resolution images. Such precise per-pixel annotations for each instance ensure accurate localization that is essential for detailed scene analysis. Compared to existing small-scale aerial image based instance segmentation datasets, iSAID contains 15$ imes$ the number of object categories and 5$ imes$ the number of instances. We benchmark our dataset using two popular instance segmentation approaches for natural images, namely Mask R-CNN and PANet. In our experiments we show that direct application of off-the-shelf Mask R-CNN and PANet on aerial images provide suboptimal instance segmentation results, thus requiring specialized solutions from the research community. The dataset is publicly available at: https://captain-whu.github.io/iSAID/index.html

研究动机与目标

• 推动为航空图像创建一个大规模、密集标注的实例分割数据集。
• 提供精确的逐像素实例掩码，以在高密度空中场景中实现准确定位。
• 突出将自然场景实例分割模型应用于航空影像的局限性。
• 对基线方法进行基准评估以建立参考并推动开发针对航空的定制方法。

提出的方法

• 使用专门的标注流程，整理并标注 2,806 幅高分辨率空中图像，覆盖 15 个类别的 655,451 个实例掩码。
• 建立严格的标注指南、多阶段质量控制工作流以及专业标注人员，确保每个实例的像素级掩码。
• 在 iSAID 上评估基线实例分割和对象检测方法（Mask R-CNN 和 PANet），包括简单的架构/骨干网络增强和尺度增强。
• 通过使用 800x800 的补丁、步幅为 200 来适应该高分辨率空中影像的评估，并在需要时重新标注裁剪后的补丁。
• 提供实例分割和边界框检测的基准结果，以揭示空中数据上的性能差距。

实验结果

研究问题

• RQ1 要训练出鲁棒的模型，空中实例分割数据集需要多大规模和多样性？
• RQ2 先进自然图像方法与空中图像数据在实例分割上的性能差距有多大？
• RQ3 常见架构（Mask R-CNN、PANet）在密集、高分辨率的空中影像上的表现如何，简单的空中特定调整能否缩小差距？
• RQ4 影响空中图像实例分割的挑战有哪些（尺度、密度、定向、宽高比）？

主要发现

• iSAID 包含 655,451 个标注实例，覆盖 2,806 幅图像和 15 个类别，能够进行高密度空中场景分析。
• 直接使用的自然图像方法（Mask R-CNN、PANet）在 iSAID 上表现不佳，表明需要针对空中的定制解决方案。
• PANet 的变体在 iSAID 上优于 Mask R-CNN 的变体，其中 PANet++（ResNet-152-FPN 骨干）在实例分割和边界框检测上达到最佳性能。
• 对基线的简单修改（尺度增强、更多框数量、调整 NMS）带来显著改进，表明领域特定调整的潜在收益。
• 类别级结果在某些类别（如棒球场、篮球场、港口）上，使用 PANet++，有显著改进。
• 与 DOTA 相比，iSAID 引入了更多的实例和类别，成为对空中实例分割更具挑战性的基准。