[论文解读] Clustered Object Detection in Aerial Images

Fan Yang, Heng Fan+3 more|arXiv (Cornell University)|Apr 16, 2019

Advanced Neural Network Applications参考文献 37被引用 14

一句话总结

本文提出 ClusDet，一种用于航空图像的新型端到端聚类目标检测框架，通过首先利用聚类建议网络（CPNet）识别目标聚类区域，再通过 ScaleNet 估计目标尺度，并在尺度归一化的聚类图像块上使用专用检测器（DetecNet）进行精细检测，从而在提升检测精度的同时显著降低计算成本。ClusDet 在 VisDrone、UAVDT 和 DOTA 数据集上实现了最先进性能，且计算开销大幅减少，仅对聚类区域进行检测。

ABSTRACT

Detecting objects in aerial images is challenging for at least two reasons: (1) target objects like pedestrians are very small in pixels, making them hardly distinguished from surrounding background; and (2) targets are in general sparsely and non-uniformly distributed, making the detection very inefficient. In this paper, we address both issues inspired by observing that these targets are often clustered. In particular, we propose a Clustered Detection (ClusDet) network that unifies object clustering and detection in an end-to-end framework. The key components in ClusDet include a cluster proposal sub-network (CPNet), a scale estimation sub-network (ScaleNet), and a dedicated detection network (DetecNet). Given an input image, CPNet produces object cluster regions and ScaleNet estimates object scales for these regions. Then, each scale-normalized cluster region is fed into DetecNet for object detection. ClusDet has several advantages over previous solutions: (1) it greatly reduces the number of chips for final object detection and hence achieves high running time efficiency, (2) the cluster-based scale estimation is more accurate than previously used single-object based ones, hence effectively improves the detection for small objects, and (3) the final DetecNet is dedicated for clustered regions and implicitly models the prior context information so as to boost detection accuracy. The proposed method is tested on three popular aerial image datasets including VisDrone, UAVDT and DOTA. In all experiments, ClusDet achieves promising performance in comparison with state-of-the-art detectors. Code will be available in \url{https://github.com/fyangneil}.

研究动机与目标

• 解决由于航空图像中目标分布稀疏且非均匀导致的均匀网格检测效率低下的问题。
• 通过基于聚类的尺度估计方法，克服航空图像中小目标检测的挑战。
• 通过仅对目标聚类区域进行检测而非对全图进行均匀划分，降低计算成本。
• 通过在聚类区域上训练专用检测器，建模上下文先验，从而提升检测精度。
• 在端到端深度学习框架中统一目标聚类与检测，以同时提升效率与性能。

提出的方法

• 利用聚类建议子网络（CPNet）从输入航空图像中预测目标聚类区域。
• 采用尺度估计子网络（ScaleNet）估计每个聚类区域内适当的物体尺度，以实现尺度归一化。
• 应用分块与填充（PP）策略处理大聚类区域，通过将其分割为更小的图像块，防止目标被截断。
• 使用专门训练于尺度归一化聚类图像块的检测网络（DetecNet），以提升检测精度。
• 融合来自全局图像和聚类图像块的检测结果，生成最终预测。
• 集成迭代聚类合并（ICM）机制，以减少冗余计算并避免对重叠聚类区域的过度处理。

实验结果

研究问题

• RQ1 基于聚类的区域建议是否能减少航空目标检测中处理的图像块数量，从而提升计算效率？
• RQ2 与均匀缩放或单目标尺度估计相比，基于聚类的尺度估计是否能带来更优的小目标检测性能？
• RQ3 是否可通过专用于聚类区域的检测器隐式建模上下文先验，从而提升检测精度？
• RQ4 在多种航空图像数据集上，所提出的 ClusDet 框架在精度与推理速度方面相较于最先进检测器表现如何？
• RQ5 CPNet、ScaleNet 与 DetecNet 的集成在高度不平衡且稀疏的目标分布数据集上，对检测性能的提升程度如何？

主要发现

• 在 VisDrone 数据集上，ClusDet 在所有主干网络上均优于 Faster R-CNN 和 RetinaNet，使用 ResNet50 时 mAP 达 27.0，使用 ResNeXt101 时达 30.5。
• 在 UAVDT 数据集上，ClusDet 超过 FRCNN+FPN 和 FRCNN+FPN+EIP，mAP 达 18.5（对比 FRCNN+FPN+EIP 的 11.0），证明基于聚类的裁剪优于 EIP 方法。
• 在 DOTA 数据集上，ClusDet 实现了与最先进方法相当或更优的 AP75（0.42），同时仅处理了 15% 的图像块，显著降低了计算量。
• ScaleNet 的集成使所有主干网络的 AP50 提升 2–3 个百分点，且在 ResNeXt101 上使 APs 提升 1.6 个百分点，证明其在处理小目标方面的有效性。
• TopN 超参数分析显示，当 TopN > 4 后性能趋于平稳而计算量继续增加，证实聚类合并对减少冗余的重要性。
• PP 模块虽将处理图像块数量增至 2,716 个，但使 ResNet50 的 mAP 提升至 26.7，表明分割大聚类区域可有效提升小目标检测能力。