[论文解读] 3D-DETNet: a Single Stage Video-Based Vehicle Detector

Suichan Li|arXiv (Cornell University)|Jan 5, 2018

Advanced Neural Network Applications参考文献 18被引用 4

一句话总结

3D-DETNet 是一种基于视频的单阶段车辆检测器，利用三维卷积网络（3DConvNet）和焦点损失，有效捕捉视频序列中的时空特征，显著提升了检测精度与速度。其推理速度达到 26 fps，在 UA-DETAC 数据集上实现了最先进（SOTA）性能，优于直接应用于视频的图像检测器。

ABSTRACT

Video-based vehicle detection has received considerable attention over the last ten years and there are many deep learning based detection methods which can be applied to it. However, these methods are devised for still images and applying them for video vehicle detection directly always obtains poor performance. In this work, we propose a new single-stage video-based vehicle detector integrated with 3DCovNet and focal loss, called 3D-DETNet. Draw support from 3D Convolution network and focal loss, our method has ability to capture motion information and is more suitable to detect vehicle in video than other single-stage methods devised for static images. The multiple video frames are initially fed to 3D-DETNet to generate multiple spatial feature maps, then sub-model 3DConvNet takes spatial feature maps as input to capture temporal information which is fed to final fully convolution model for predicting locations of vehicles in video frames. We evaluate our method on UA-DETAC vehicle detection dataset and our 3D-DETNet yields best performance and keeps a higher detection speed of 26 fps compared with other competing methods.

研究动机与目标

• 解决直接将基于图像的物体检测器应用于基于视频的车辆检测时性能不佳的问题。
• 开发一种面向视频的检测框架，有效捕捉视频序列中的空间与时间特征。
• 在保持高推理速度的同时提升检测精度，以满足实时应用需求。
• 将焦点损失集成到单阶段检测器中，以处理车辆检测中类别分布长尾的问题。
• 在 UA-DETAC 基准数据集上实现最先进性能。

提出的方法

• 该模型以多帧视频作为输入，通过主干网络生成空间特征图。
• 将 3DConvNet 子模型应用于空间特征图，以提取跨帧的时间依赖性。
• 将融合后的时空特征传递给全卷积头，用于预测车辆边界框。
• 在训练过程中引入焦点损失，以缓解视频序列中前景与背景样本之间的不平衡问题。
• 采用多帧输入端到端训练网络，以优化时间一致性与检测精度。
• 架构设计支持单阶段推理，实现实时性能。

实验结果

研究问题

• RQ1 单阶段检测器能否有效利用三维卷积来建模运动，从而提升基于视频的车辆检测性能？
• RQ2 焦点损失在长尾视频目标检测场景中如何提升检测性能？
• RQ3 将 3DConvNet 与单阶段检测器结合，是否相比应用于视频的图像检测器能获得更高的精度与速度？
• RQ4 时间建模对减少误报并提升视频序列中的定位性能有何影响？
• RQ5 所提出的方法能否在保持高推理速度的同时实现最先进性能？

主要发现

• 3D-DETNet 在 UA-DETAC 数据集上的检测性能优于所有对比方法。
• 该模型保持了 26 fps 的高推理速度，支持实时视频处理。
• 3DConvNet 的集成实现了对时间运动的有效建模，提升了检测的鲁棒性。
• 焦点损失通过聚焦于难分负样本，显著提升了训练稳定性和检测精度。
• 该方法优于经过视频适配的图像检测器，证明了面向视频设计的优势。
• 消融实验确认，3D 卷积和焦点损失均对整体性能提升有显著贡献。