[论文解读] Cascaded Zoom-in Detector for High Resolution Aerial Images

Akhil Meethal, Éric Granger+1 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种级联缩放检测器（Cascaded Zoom-in, CZ）检测器，该检测器复用自身的目标检测器来识别并处理高分辨率航拍图像中的密度区域（即小目标密集区域）。通过在训练过程中新增一个“密度区域”类别，并对上采样后的区域执行两阶段推理，该方法在不增加外部组件的情况下提升了小目标检测的精度，在VisDrNE数据集上实现了超过3.0的mAP提升，并达到最先进性能。

ABSTRACT

Detecting objects in aerial images is challenging because they are typically composed of crowded small objects distributed non-uniformly over high-resolution images. Density cropping is a widely used method to improve this small object detection where the crowded small object regions are extracted and processed in high resolution. However, this is typically accomplished by adding other learnable components, thus complicating the training and inference over a standard detection process. In this paper, we propose an efficient Cascaded Zoom-in (CZ) detector that re-purposes the detector itself for density-guided training and inference. During training, density crops are located, labeled as a new class, and employed to augment the training dataset. During inference, the density crops are first detected along with the base class objects, and then input for a second stage of inference. This approach is easily integrated into any detector, and creates no significant change in the standard detection process, like the uniform cropping approach popular in aerial image detection. Experimental results on the aerial images of the challenging VisDrone and DOTA datasets verify the benefits of the proposed approach. The proposed CZ detector also provides state-of-the-art results over uniform cropping and other density cropping methods on the VisDrone dataset, increasing the detection mAP of small objects by more than 3 points.

研究动机与目标

• 解决在高分辨率航拍图像中检测小而稀疏分布目标的挑战，因为标准检测器在下采样过程中会因特征退化而性能下降。
• 消除基于密度的裁剪方法中对额外可学习组件的需求，从而避免训练与推理过程的复杂化。
• 通过使密度裁剪的实现方式与均匀裁剪一样简单，弥合研究方法与实际部署之间的差距。
• 通过在不修改标准检测流程的前提下利用高分辨率裁剪推理，提升检测mAP，尤其是小目标的检测性能。

提出的方法

• 在训练过程中引入一种新的“密度区域”类别，其中密度区域通过基于目标密度与空间聚类的不可微裁剪标注算法自动标注。
• 在训练过程中，检测器被微调以同时检测基础类别目标与密度区域，后者被放大至更高分辨率以增强特征学习。
• 在推理阶段，检测器在单次前向传播中同时检测全分辨率图像中的基础目标与密度区域。
• 检测到的密度区域随后被上采样至固定高分辨率，并送入第二阶段推理以优化小目标检测。
• 最终检测结果通过合并全图推理与高分辨率裁剪推理的结果获得，采用20像素的重叠阈值来合并重叠框。
• 整个流程复用标准检测器架构，避免引入额外模块或复杂训练阶段。

实验结果

研究问题

• RQ1 检测器是否可以在不增加外部可学习组件的前提下被重新用于检测密度区域？
• RQ2 与均匀裁剪相比，对上采样后的密度区域执行级联推理是否能提升高分辨率航拍图像中小目标的检测性能？
• RQ3 所提出的方法是否能在保持与均匀裁剪相当的简洁性的同时，实现最先进性能？
• RQ4 CZ检测器在不同目标尺寸类别中的性能表现如何，尤其是对小目标？

主要发现

• 与基线模型相比，所提出的CZ检测器在VisDrone数据集上使小目标mAP提升了3.0以上（从29.48提升至33.02）。
• 该方法在VisDrone数据集上实现了33.22的mAP新SOTA表现，优于所有现有方法，包括使用外部模块（如ClusterNet和DensityMap）的方法。
• 与次优方法相比，该方法在小目标mAP（APs）上实现了2.5个百分点的提升，达到26.06的APs得分。
• 该方法在保持高推理速度（使用FCOS时为12.69 FPS）的同时显著提升了精度，展现出良好的实用性。
• 采用自适应合并策略的两阶段推理有效减少了误检并提升了定位精度，尤其对小目标效果显著。
• 该方法具有良好的泛化能力，在使用FCOS（一种现代无锚点检测器）时也达到了33.67的mAP，表明其在不同网络架构下均具备鲁棒性。