[论文解读] Geometry-Aware Video Object Detection for Static Cameras

Dan Xu, Weidi Xie+1 more|arXiv (Cornell University)|Sep 6, 2019

Advanced Neural Network Applications参考文献 36被引用 4

一句话总结

该论文提出 GAST-Net，一种针对静态摄像头的几何感知时空视频目标检测框架，通过利用从目标尺度推导出的伪深度图来提升多尺度检测性能。通过将无锚框的 CornerNet 扩展至视频，引入时序建模与几何引导的特征融合，GAST-Net 在合成数据集（Carla）和真实世界数据集（DukeMTMC）上均实现了最先进性能，相较于现有单阶段与两阶段检测器，mAP 最高提升达 6.2 个百分点。

ABSTRACT

In this paper we propose a geometry-aware model for video object detection. Specifically, we consider the setting that cameras can be well approximated as static, e.g. in video surveillance scenarios, and scene pseudo depth maps can therefore be inferred easily from the object scale on the image plane. We make the following contributions: First, we extend the recent anchor-free detector (CornerNet [17]) to video object detections. In order to exploit the spatial-temporal information while maintaining high efficiency, the proposed model accepts video clips as input, and only makes predictions for the starting and the ending frames, i.e. heatmaps of object bounding box corners and the corresponding embeddings for grouping. Second, to tackle the challenge from scale variations in object detection, scene geometry information, e.g. derived depth maps, is explicitly incorporated into deep networks for multi-scale feature selection and for the network prediction. Third, we validate the proposed architectures on an autonomous driving dataset generated from the Carla simulator [5], and on a real dataset for human detection (DukeMTMC dataset [28]). When comparing with the existing competitive single-stage or two-stage detectors, the proposed geometry-aware spatio-temporal network achieves significantly better results.

研究动机与目标

• 解决在可利用场景几何信息的静态摄像头设置下，视频目标检测中的尺度变化与遮挡问题。
• 通过高效建模时空依赖关系，将单阶段无锚框检测（CornerNet）扩展至视频任务。
• 将源自图像平面上目标尺度的场景几何信息融入深度神经网络，以改善多尺度特征选择与预测。
• 在合成与真实世界数据集上验证几何先验在视频目标检测中的有效性。
• 证明几何感知设计相比标准检测器可实现更高的检测精度。

提出的方法

• 该模型以视频片段作为输入，仅对第一帧和最后一帧预测目标角点热力图与嵌入特征，从而降低计算成本，同时捕捉长程时序上下文。
• 采用时空卷积主干网络，编码跨帧的外观与运动特征，实现空间与时间线索的联合建模。
• 引入几何感知特征融合机制，其中伪深度图（由图像平面上的目标高度推导）引导网络中的多尺度特征选择与融合。
• 网络使用基于角点的检测头，预测左上角与右下角，随后通过嵌入特征分组生成边界框。
• 伪深度图通过已知相机几何参数，从图像平面上的目标尺度计算得出，提供几何先验，而无需依赖显式深度传感器。
• 该架构端到端可训练，并使用标准检测损失函数（关键点回归与嵌入对比学习）进行优化。

实验结果

研究问题

• RQ1 能否利用静态摄像头中推导出的场景几何信息来提升多尺度视频目标检测性能？
• RQ2 将伪深度图作为几何先验，对检测精度与尺度变化鲁棒性有何影响？
• RQ3 基于角点的无锚框检测框架能否通过时空建模有效扩展至视频任务？
• RQ4 几何感知特征融合是否优于视频目标检测中的标准多尺度特征聚合方法？
• RQ5 所提方法在真实世界与合成基准上相较于最先进的一阶段与两阶段检测器表现如何？

主要发现

• 在 DukeMTMC 数据集上，采用 ResNet-50 主干网络的 GAST-Net 达到 74.42% mAP，较 Faster R-CNN 提升 3.74 个百分点，较单帧 CornerNet 提升 5.71 个百分点。
• 使用 VGG-11 主干网络时，GAST-Net 达到 68.26% mAP，较 SSD 提升 9.17 个百分点，较单帧 CornerNet 提升 6.77 个百分点。
• 几何引导的特征融合模块在所有指标上均提升性能，证实几何先验可增强尺度感知能力与检测精度。
• 在 Carla 合成数据集上，GAST-Net 展现出强大的泛化能力，验证了其在具有复杂尺度变化的自动驾驶场景中的有效性。
• 在 DukeMTMC 上，GAST-Net 的 AP75 达到 68.21%，高于 Faster R-CNN 的 59.64%，表明其因密集角点预测而具备更优的定位精度。
• 失败案例主要源于极端尺度或遮挡场景下的角点错误分组，凸显了改进分组机制的必要性。