[论文解读] On The Stability of Video Detection and Tracking

Hong Zhang, Naiyan Wang|arXiv (Cornell University)|Nov 20, 2016

Video Surveillance and Tracking Methods参考文献 41被引用 18

一句话总结

本文提出了一种新颖的以轨迹为中心的视频检测评估指标，用于量化稳定性——包括片段错误、中心位置错误和尺度/比例错误——以及准确性（mAP）。实验表明，稳定性与准确性之间相关性较低，揭示了两者之间的权衡关系。通过基准测试现有方法，发现提升某一指标并不能保证另一指标的提升，因此主张未来研究应同时评估这两项指标。

ABSTRACT

In this paper, we study an important yet less explored aspect in video detection and tracking -- stability. Surprisingly, there is no prior work that tried to study it. As a result, we start our work by proposing a novel evaluation metric for video detection which considers both stability and accuracy. For accuracy, we extend the existing accuracy metric mean Average Precision (mAP). For stability, we decompose it into three terms: fragment error, center position error, scale and ratio error. Each error represents one aspect of stability. Furthermore, we demonstrate that the stability metric has low correlation with accuracy metric. Thus, it indeed captures a different perspective of quality. Lastly, based on this metric, we evaluate several existing methods for video detection and show how they affect accuracy and stability. We believe our work can provide guidance and solid baselines for future researches in the related areas.

研究动机与目标

• 识别并解决现有基准中视频检测稳定性评估的缺失问题，这是当前研究中一个关键但被忽视的方面。
• 提出一种基于轨迹的新评估指标，通过片段错误、中心位置错误和尺度/比例错误来量化稳定性。
• 通过实证研究证明稳定性与准确性是两个独立且低相关性的指标，从而证明在评估中同时考虑二者的重要性。
• 在新稳定性度量下对现有视频检测方法进行基准测试，揭示准确率与稳定性之间的权衡关系。
• 通过建立基线并强调稳定性在自动驾驶辅助系统（ADAS）等实际应用中的重要性，为未来研究奠定基础。

提出的方法

• 提出一种以轨迹为中心的评估框架，从三个维度评估稳定性：片段错误（时间连续性）、中心位置错误（空间一致性）和尺度/比例错误（尺寸稳定性）。
• 扩展平均精度（mAP）以衡量准确性，并引入三个新的稳定性度量指标，每个指标均在检测到的轨迹上计算。
• 利用真实标注的对象关联对齐帧间检测结果，以计算稳定性度量，确保轨迹级别的准确评估。
• 采用皮尔逊相关系数分析（Pearson correlation）在多个数据集（MOT 和 KITTI）及方法（如 Faster R-CNN、ACF 等）上比较稳定性度量与 mAP 的相关性。
• 通过不同非极大值抑制（NMS）和后处理方法的 mAUC 值散点图，可视化准确率与稳定性之间的权衡关系。
• 评估一系列方法，包括非极大值抑制（NMS）、加权 NMS、运动滤波（MF）和运动引导提议（MGP），以分析其对稳定性与准确性的影响。

实验结果

研究问题

• RQ1 如何在不依赖准确率的前提下，形式化定义并量化视频检测中的稳定性？
• RQ2 视频检测轨迹中不稳定的主因是什么？
• RQ3 在视频检测中，稳定性与现有准确率度量（如 mAP）的相关性如何？
• RQ4 现有视频检测方法是否在准确率与稳定性之间存在权衡？
• RQ5 稳定性是否可以被有效度量，并用于指导方法选择或模型设计？

主要发现

• 所提出的稳定性度量与 mAP 相关性较低，表明稳定性捕捉了视频检测质量中一个独立且非冗余的方面。
• 片段错误、中心位置错误和尺度/比例错误均为有意义的稳定性组成部分，其中中心位置错误与尺度/比例错误之间相关性更高。
• 加权 NMS 同时提升了准确率与稳定性，而 MF 主要增强稳定性，MGP 主要提升准确率，揭示了清晰的权衡关系。
• 在 MOT 和 KITTI 数据集上，没有单一方法在准确率与稳定性两方面均占优，证实了权衡关系的存在。
• 实证结果表明，稳定性是视频检测评估中一个关键但此前被忽视的维度，尤其在自动驾驶辅助系统（ADAS）等安全关键应用中尤为重要。
• 本研究通过提供兼顾准确率与稳定性的新评估协议和基线，为未来工作奠定了基础。