[论文解读] Road User Detection in Videos

Hughes Perreault, Guillaume-Alexandre Bilodeau+2 more|arXiv (Cornell University)|Mar 28, 2019

Video Surveillance and Tracking Methods参考文献 28被引用 6

一句话总结

本文提出RetinaNet-Double与RetinaNet-Flow两种视频目标检测模型，通过利用连续两帧视频提升道路使用者检测性能。RetinaNet-Double将目标帧与前一帧在通道维度上拼接作为输入，显著提升三个数据集上的mAP；而RetinaNet-Flow采用光流信息，表现却欠佳，表明端到端从原始帧学习特征比显式运动编码更有效。

ABSTRACT

Successive frames of a video are highly redundant, and the most popular object detection methods do not take advantage of this fact. Using multiple consecutive frames can improve detection of small objects or difficult examples and can improve speed and detection consistency in a video sequence, for instance by interpolating features between frames. In this work, a novel approach is introduced to perform online video object detection using two consecutive frames of video sequences involving road users. Two new models, RetinaNet-Double and RetinaNet-Flow, are proposed, based respectively on the concatenation of a target frame with a preceding frame, and the concatenation of the optical flow with the target frame. The models are trained and evaluated on three public datasets. Experiments show that using a preceding frame improves performance over single frame detectors, but using explicit optical flow usually does not.

研究动机与目标

• 提升视频序列中小型、遮挡或运动模糊道路使用者的目标检测准确率。
• 探究使用连续两帧是否相比单帧方法能提升检测性能。
• 评估显式光流是否优于原始帧拼接在检测性能上的表现。
• 开发一种通用且可集成的方法，在不改变原有检测器架构的前提下提升现有目标检测器性能。
• 在遮挡与运动模糊等复杂交通场景中，展示模型在一致性和鲁棒性方面的提升。

提出的方法

• RetinaNet-Double将目标帧与前一帧沿通道维度拼接，作为基于RetinaNet的检测器的输入。
• RetinaNet-Flow将目标帧与两帧之间的预测光流进行拼接，实现特征融合。
• 两种模型均使用标准RetinaNet损失函数进行端到端训练，主干网络与检测头架构均未做任何修改。
• 模型在三个公开的道路使用者检测数据集上进行评估：MOTChallenge、UA-DETRAC与UAV-benchmark。
• 训练从零开始进行，并使用ImageNet预训练权重，以评估泛化能力与性能增益。
• 该方法设计为兼容任意单阶段或两阶段目标检测器，通过保持输入张量维度不变实现。

实验结果

研究问题

• RQ1 与单帧检测相比，使用连续两帧是否能提升对小型或遮挡道路使用者的检测准确率？
• RQ2 与原始帧拼接相比，显式使用帧间光流是否能提升检测性能？
• RQ3 所提方法在不同数据集与训练策略下的泛化能力如何？
• RQ4 当目标静止或无运动时，模型性能是否仍能保持？
• RQ5 双帧方法是否可在不修改现有目标检测框架架构的前提下实现兼容？

主要发现

• 在从零开始训练时，RetinaNet-Double在所有三个数据集上的平均平均精度（mAP）均高于基线RetinaNet。
• 在MOTChallenge数据集上，RetinaNet-Double在从零开始训练时较基线模型mAP提升3.1%。
• RetinaNet-Flow表现劣于RetinaNet-Double，表明显式光流并未提升检测性能，反而可能干扰端到端特征学习。
• 即使未对主干网络使用预训练特征，在UAV-benchmark数据集上，所提模型仍优于当前SOTA模型。
• 在遮挡与运动模糊场景中，模型保持鲁棒性，定性示例显示RetinaNet-Double能检测到基线模型遗漏的车辆。
• 初步消融实验表明，将同一帧重复两次作为输入仅导致性能轻微下降，可在单帧场景下实现降级回退。