[论文解读] Drone-based Object Counting by Spatially Regularized Regional Proposal Network

Meng-Ru Hsieh, Yen-Liang Lin+1 more|arXiv (Cornell University)|Jul 19, 2017

Video Surveillance and Tracking Methods被引用 7

一句话总结

本文提出一种布局提议网络（LPN），利用空间布局规律（如规则的停车模式）来提升无人机拍摄视频中的目标定位与计数性能。通过引入空间正则化损失，该方法增强了区域提议的准确性，在包含89,777辆标注汽车的新大规模无人机数据集（CARPK）上实现了最先进性能，相较于基于回归的方法，在受限提议设置下，其在MAE和RMSE指标上均表现更优。

ABSTRACT

Existing counting methods often adopt regression-based approaches and cannot precisely localize the target objects, which hinders the further analysis (e.g., high-level understanding and fine-grained classification). In addition, most of prior work mainly focus on counting objects in static environments with fixed cameras. Motivated by the advent of unmanned flying vehicles (i.e., drones), we are interested in detecting and counting objects in such dynamic environments. We propose Layout Proposal Networks (LPNs) and spatial kernels to simultaneously count and localize target objects (e.g., cars) in videos recorded by the drone. Different from the conventional region proposal methods, we leverage the spatial layout information (e.g., cars often park regularly) and introduce these spatially regularized constraints into our network to improve the localization accuracy. To evaluate our counting method, we present a new large-scale car parking lot dataset (CARPK) that contains nearly 90,000 cars captured from different parking lots. To the best of our knowledge, it is the first and the largest drone view dataset that supports object counting, and provides the bounding box annotations.

研究动机与目标

• 解决基于回归的计数方法在动态无人机拍摄场景中难以精确定位目标的局限性。
• 通过整合空间布局模式（如规则的停车排列）来提升无人机视频中的目标提议准确性。
• 构建一个大规模、多样化且完整标注的无人机数据集（CARPK），以支持计数模型的稳健训练与评估。
• 实现在无固定摄像头假设的动态空中环境中，联合完成计数与定位任务。
• 证明空间布局先验可显著提升目标计数任务中区域提议网络的召回率与准确性。

提出的方法

• 提出一种布局提议网络（LPN），通过利用空间布局规律，在无人机视频中联合检测与计数目标。
• 引入一种空间正则化损失函数，根据区域提议与预期布局模式（如对齐的停车道）的空间一致性程度对提议进行重新加权。
• 该损失函数促使提议位于结构上合理的位置，从而在无需场景特定调优的情况下提升定位准确性。
• 该方法具有良好的泛化能力，可嵌入任意目标检测或计数流水线以提升性能。
• 网络通过主干CNN的特征图端到端训练，利用空间规律约束对提议进行优化。
• 该方法在新数据集CARPK上进行评估，该数据集包含来自多样化停车场的高分辨率无人机图像，共标注89,777辆汽车，并提供完整实例边界框标注。

实验结果

研究问题

• RQ1 能否有效利用空间布局规律来提升无人机视频计数中目标提议的准确性？
• RQ2 在动态、非受限的空中场景中，引入布局先验如何影响区域提议网络的性能？
• RQ3 在空间布局模式上进行训练的深度学习模型，能否在多样化停车场场景中泛化，实现准确的计数与定位？
• RQ4 与最先进基于回归的计数模型相比，所提方法在定位与计数准确性方面表现如何？
• RQ5 新发布的CARPK数据集在多大程度上支持对无人机计数系统进行更可靠、可扩展的评估？

主要发现

• 在仅使用200个提议的情况下，该方法在CARPK数据集上实现了23.80的平均绝对误差（MAE）和36.79的均方根误差（RMSE），优于所有基线方法，包括最先进的一次性回归方法（One-Look Regression）。
• 在PUCPR+数据集上，该方法在400个提议下实现了22.76的MAE和34.46的RMSE，性能与最佳回归方法相当，同时保持了更优的定位能力。
• 空间正则化损失将最先进区域提议网络在PUCPR数据集上的平均召回率从59.9%提升至62.5%，通过强制实现空间一致性。
• 在PASCAL VOC或MS COCO上进行微调会导致性能下降，表明从固定摄像头视角到无人机视角存在显著的域偏移，严重影响模型泛化能力。
• CARPK数据集包含89,777辆汽车及完整实例标注，是首个支持端到端计数与定位任务的、规模最大的无人机数据集。
• 该方法在多样化停车场场景中泛化良好，在CARPK数据集的跨场景评估中表现出强鲁棒性。