[论文解读] Object Detection in Videos by High Quality Object Linking

Peng Tang, Chunyu Wang+4 more|arXiv (Cornell University)|Jan 30, 2018

Advanced Neural Network Applications参考文献 42被引用 7

一句话总结

该论文提出了一种新颖的视频目标检测框架，通过在相同帧内使用长方体提议网络、短管状体检测和管状体间连接，提升检测精度。通过利用同一帧内的时序一致性，该方法在 ImageNet VID 数据集上对快速运动目标的检测，相比静态图像检测器实现了 8.8% 的绝对 mAP 提升。

ABSTRACT

Compared with object detection in static images, object detection in videos is more challenging due to degraded image qualities. An effective way to address this problem is to exploit temporal contexts by linking the same object across video to form tubelets and aggregating classification scores in the tubelets. In this paper, we focus on obtaining high quality object linking results for better classification. Unlike previous methods that link objects by checking boxes between neighboring frames, we propose to link in the same frame. To achieve this goal, we extend prior methods in following aspects: (1) a cuboid proposal network that extracts spatio-temporal candidate cuboids which bound the movement of objects; (2) a short tubelet detection network that detects short tubelets in short video segments; (3) a short tubelet linking algorithm that links temporally-overlapping short tubelets to form long tubelets. Experiments on the ImageNet VID dataset show that our method outperforms both the static image detector and the previous state of the art. In particular, our method improves results by 8.8% over the static image detector for fast moving objects.

研究动机与目标

• 解决视频目标检测中因运动模糊和对焦不良导致的图像质量下降问题。
• 通过利用高质量的目标连接所蕴含的时序上下文，提升检测精度。
• 克服相邻帧连接的局限性，特别是对快速运动目标的检测。
• 通过聚焦于同一帧内的空间重叠，实现鲁棒的目标连接。
• 在 ImageNet VID 数据集上实现最先进性能。

提出的方法

• 引入长方体提议网络（CPN），生成时空候选长方体，以捕捉跨帧的物体运动。
• 应用短管状体检测网络，在短视频片段中使用逐帧 R-CNN 风格检测，检测物体实例。
• 采用管状体重叠度量方法，将非极大值抑制（NMS）扩展至管状体之间，减少碎片化。
• 使用短管状体连接算法，基于同一帧内的空间重叠，合并时间上重叠的管状体。
• 对连接后的管状体聚合分类得分，以提升检测置信度。
• 通过重叠的短片段处理视频，实现长时序上下文建模。

实验结果

研究问题

• RQ1 与相邻帧之间的连接相比，同一帧内目标连接是否能提升检测质量？
• RQ2 使用长方体提议在多大程度上提升了视频中目标连接的质量？
• RQ3 短管状体检测与连接在多大程度上能提升快速运动目标的 mAP？
• RQ4 在低质量帧中，对连接管状体的得分聚合是否能减少漏检？
• RQ5 与静态图像检测器及先前的视频检测方法相比，该方法在 mAP 和抗运动模糊能力方面表现如何？

主要发现

• 该方法在 ImageNet VID 数据集上实现了 74.5% 的平均平均精度（mAP），优于静态图像检测器和先前的最先进方法。
• 对于快速运动目标，该方法相比静态图像检测器将 mAP 提升了 8.8%，表现出对运动模糊的强鲁棒性。
• 长方体提议网络实现了同一帧内的连接，与相邻帧连接相比，显著提升了定位精度。
• 短管状体连接组件通过利用重叠视频片段间的长时序上下文，提升了检测性能。
• 运行时间与静态检测器相当（2帧片段为 0.35 秒/帧），且由于共享特征计算，更长片段的处理速度进一步提升。
• 可视化结果证实，所提方法减少了定位误差，提升了管状体的连续性，尤其在具有挑战性的帧中表现更优。