[论文解读] Concurrent Segmentation and Object Detection CNNs for Aircraft Detection and Identification in Satellite Images

Damien Grosgeorge, Maxime Arbelot+3 more|arXiv (Cornell University)|May 27, 2020

Advanced Neural Network Applications参考文献 9被引用 12

一句话总结

本文提出了一种并发的深度学习框架，结合改进的U-Net进行语义分割和RetinaNet进行目标检测，以提升高分辨率卫星图像中飞机的检测与识别效果。通过利用分割的高召回率和检测的精确定位能力，该方法减少了漏检，实现了平衡模式下95%的召回率和88%的精确率。

ABSTRACT

Detecting and identifying objects in satellite images is a very challenging task: objects of interest are often very small and features can be difficult to recognize even using very high resolution imagery. For most applications, this translates into a trade-off between recall and precision. We present here a dedicated method to detect and identify aircraft, combining two very different convolutional neural networks (CNNs): a segmentation model, based on a modified U-net architecture, and a detection model, based on the RetinaNet architecture. The results we present show that this combination outperforms significantly each unitary model, reducing drastically the false negative rate.

研究动机与目标

• 解决在高分辨率卫星图像中检测小型、低对比度飞机的挑战，实现高召回率和高精确率。
• 克服单一分割或检测模型存在的高误检或漏检率问题。
• 开发一种稳健、可直接应用于实际场景的自动化飞机监控系统，基于深度学习技术。
• 通过在检测流程中集成多层级分类（类型与子类型），提升飞机识别的准确性。
• 通过互补利用分割与检测的输出，最小化模型错误，降低误报与漏报。

提出的方法

• 采用改进的U-Net架构，引入恒等映射（IM）模块和步幅卷积，替代最大池化操作，以增强特征学习能力并提高训练稳定性，适用于分割任务。
• 在U-Net中使用跳跃连接，以提升空间重建能力，即使在边界划分质量较低的情况下，也能有效检测小型飞机。
• 采用RetinaNet架构，结合多层级特征金字塔网络（FPN）和焦点损失（focal loss），以处理类别不平衡问题，实现单阶段、高速目标检测。
• 集成分层分类头，包含三级分类：飞机类型（如战斗型、轰炸机）、型号（如F-16）和子类型（如小型飞机），实现细粒度识别。
• 使用加权类别交叉熵损失并结合中位数频率平衡策略，对分割模型进行训练，以缓解背景像素占主导导致的类别不平衡问题。
• 使用焦点损失进行检测模型的分类任务，使用平滑L1损失进行边界框回归，采用ADAM优化器并结合数据增强技术（几何与辐射增强）进行训练。

实验结果

研究问题

• RQ1 将高召回率的分割模型与高精确率的检测模型相结合，是否能显著降低卫星图像中飞机检测的误报与漏报率？
• RQ2 将基于U-Net的分割与基于RetinaNet的检测进行集成，相较于单独使用任一模型，能否显著提升检测性能？
• RQ3 在复杂、高分辨率的卫星图像场景中，分层分类（第2级与第3级）在多大程度上能提升飞机识别的准确性？
• RQ4 数据增强策略与损失函数设计（如焦点损失、加权交叉熵）在应对真实世界成像变化时，如何促进模型的泛化能力与鲁棒性？
• RQ5 并发使用分割与检测的输出，能否纠正单个模型的错误，特别是在遮挡、阴影或低对比度条件下？

主要发现

• 并发方法在平衡模式下实现了95%的召回率和88%的精确率，显著优于仅使用分割模型（91%召回率，78%精确率）和仅使用检测模型（87%召回率，75%精确率）。
• 在高召回模式下，该方法达到96%的召回率和84%的精确率，显著提升了对小型或部分遮挡飞机的检测能力。
• 通过融合输出，误报率大幅降低：检测模型产生的误报被分割模型的空间一致性有效过滤。
• 第2级分类（如战斗型、轰炸机）的识别准确率达到91%，第3级分类（如F-16、图-95、小型飞机）的识别准确率达到80%，主要混淆源于类别定义的模糊性。
• 视觉分析表明，该并发方法能有效纠正错误：检测模型产生的误报被清除，分割模型遗漏的检测目标被成功恢复。
• 采用数据增强（翻转、旋转、直方图归一化）和优化的损失函数（焦点损失、加权交叉熵）显著提升了模型在多样化卫星图像条件下的泛化能力。