[论文解读] Bicycle Detection Based On Multi-feature and Multi-frame Fusion in low-resolution traffic videos

Yicheng Zhang, Ling Qiang|arXiv (Cornell University)|Jun 11, 2017

Video Surveillance and Tracking Methods参考文献 10被引用 4

一句话总结

本文提出一种基于多特征与多帧融合的实时自行车检测方法，适用于低分辨率交通视频。该方法提取稀疏几何特征与速度特征，通过支持向量机（SVM）或级联分类器进行融合，并在帧间应用时间域融合以提升准确率并减少误报，实现高检测率与低计算成本（每帧30ms）。

ABSTRACT

As a major type of transportation equipments, bicycles, including electrical bicycles, are distributed almost everywhere in China. The accidents caused by bicycles have become a serious threat to the public safety. So bicycle detection is one major task of traffic video surveillance systems in China. In this paper, a method based on multi-feature and multi-frame fusion is presented for bicycle detection in low-resolution traffic videos. It first extracts some geometric features of objects from each frame image, then concatenate multiple features into a feature vector and use linear support vector machine (SVM) to learn a classifier, or put these features into a cascade classifier, to yield a preliminary detection result regarding whether an object is a bicycle. It further fuses these preliminary detection results from multiple frames to provide a more reliable detection decision, together with a confidence level of that decision. Experimental results show that this method based on multi-feature and multi-frame fusion can identify bicycles with high accuracy and low computational complexity. It is, therefore, applicable for real-time traffic video surveillance systems.

研究动机与目标

• 解决在传统方法因特征提取效果差而失效的低分辨率交通视频中自行车检测的挑战。
• 通过跨多帧融合检测结果，克服单帧检测的局限性，提升可靠性并减少噪声引起的误分类。
• 开发一种计算效率高的方法，适用于城市交通监控系统中的实时部署。
• 通过稀疏几何特征与基于置信度的决策融合，提升检测性能，实现误报率、漏检率与重复检测率之间的平衡。

提出的方法

• 从每帧中提取运动物体的稀疏几何特征（如形状、尺寸、长宽比）与速度特征，以表征自行车候选对象。
• 将多个几何特征拼接为单一特征向量，使用线性SVM或级联分类器进行分类。
• 采用多数表决规则进行多帧融合，整合连续帧中的初步检测结果，提升决策可靠性。
• 为检测结果引入置信度阈值，动态平衡误报率、漏检率与重复检测率。
• 在帧级别进行特征融合，整合多个显著特征（如轮状结构、紧凑性）后再进行分类。
• 利用帧间的时间一致性，抑制由噪声或光照变化引起的瞬态误报。

实验结果

研究问题

• RQ1 多特征融合（稀疏几何特征与运动特征）是否能提升低分辨率交通视频中自行车检测的准确率？
• RQ2 与单帧分类相比，多帧时间域融合在多大程度上提升了检测的可靠性？
• RQ3 置信度阈值在多大程度上可用于控制误报率、漏检率与重复检测率之间的权衡？
• RQ4 在雨天、雾天或低光照等挑战性条件下，该方法是否仍能保持高性能？
• RQ5 该方法是否能以低计算复杂度实现实时性能，适用于监控系统的部署？

主要发现

• 在场景3（雾天条件）下，基于SVM的多特征与多帧融合方法检测率达到96.96%。
• 在场景1（雨天条件）下，级联分类器融合方法的误报率（4.36%）低于SVM方法（16.42%），表明其具有更好的鲁棒性。
• 重复检测率从置信度阈值为0时的76.83%降低至阈值为1时的10.41%，证明了对冗余检测的有效抑制。
• SVM与级联分类器方法处理每帧的时间均约为30ms，满足25–30 fps视频流的实时处理需求。
• 该方法在多种环境条件下（雨天、雾天、光照变化）均保持高检测性能，展现出对环境噪声的强鲁棒性。
• 总体而言，级联分类器优于SVM：在场景2中检测率达91.55%，误报率为6.27%，尽管其在场景3中的检测率略低于SVM。