[论文解读] Integrated Object Detection and Tracking with Tracklet-Conditioned Detection
该论文通过以先前轨迹片段为条件，紧耦合目标检测和跟踪，在当前帧检测上实现对视频基准的最新结果和更稳定的跟踪。
Accurate detection and tracking of objects is vital for effective video understanding. In previous work, the two tasks have been combined in a way that tracking is based heavily on detection, but the detection benefits marginally from the tracking. To increase synergy, we propose to more tightly integrate the tasks by conditioning the object detection in the current frame on tracklets computed in prior frames. With this approach, the object detection results not only have high detection responses, but also improved coherence with the existing tracklets. This greater coherence leads to estimated object trajectories that are smoother and more stable than the jittered paths obtained without tracklet-conditioned detection. Over extensive experiments, this approach is shown to achieve state-of-the-art performance in terms of both detection and tracking accuracy, as well as noticeable improvements in tracking stability.
研究动机与目标
- 推动在视频理解中更紧密地将检测与跟踪集成的需求。
- 开发一个轨迹片段条件的检测框架，利用先前的轨迹片段影响当前帧的检测。
- 证明早期集成在检测准确性和跟踪稳定性上优于传统的后期集成方法。
提出的方法
- 定义一个轨迹片段条件的检测公式，其中 P(c|b^t_i, {d^{t-1}_j}) 将每帧检测分数与基于轨迹片段的线索结合起来。
- 从轨迹片段历史中计算 P_tr(c|d^{t-1}_j)，并随时间更新轨迹嵌入 E_s2(d^t)。
- 利用嵌入特征的余弦相似度来建立关联权重 w(b^t_i, d^{t-1}_j)，以指导跨帧标注。
- 将该方法集成到两阶段的 Faster R-CNN 检测器，在第一阶段（RPN）和第二阶段（Fast R-CNN）中均应用轨迹片段条件化。
- 通过联合检测与跟踪损失进行训练，将帧 t-1 的检测与帧 t 的真值连接起来，以同时优化检测和跟踪。
- 使用基于二分匹配的关联（匈牙利算法）对新对象采用伪轨迹片段，并在需要时执行传播和重新打分步骤。
实验结果
研究问题
- RQ1来自前帧的轨迹片段信息是否可以提升每帧的目标检测分数，超越仅凭外观？
- RQ2早期（轨迹片段条件化）的检测与跟踪集成是否优于在检测后合并结果的后期集成方法？
- RQ3联合训练对跨视频序列的检测准确性和跟踪稳定性有何影响？
- RQ4不同组件（第一阶段与第二阶段条件化）对整体性能有何贡献？
主要发现
- 在 ImageNet VID 上实现检测（mAP_det）和跟踪（mAP_track）的最先进指标。
- 在两个阶段上均采用轨迹片段条件化检测的综合方法提供最佳的总体 mAP：验证集上 det 78.1%，track 67.9%。
- 早期集成提高了跟踪稳定性，产生比后期集成基线更平滑的轨迹。
- 该方法相较于序贯的检测与跟踪基线带来显著提升，展示了检测与现有轨迹片段之间更好的连贯性。
- 在 MOT 2015 上，集成检测器针对视频跟踪进行了微调，取得了具有改进稳定性的具有竞争力的结果（论文实验中报告）。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。