[论文解读] End-to-End Learning Deep CRF models for Multi-Object Tracking

Jun Xiang, Chao Ma+2 more|arXiv (Cornell University)|Jul 29, 2019

Video Surveillance and Tracking Methods参考文献 44被引用 15

一句话总结

本文提出了一种用于多目标跟踪的端到端深度CRF模型，通过双向LSTM联合优化一元势和成对势，以捕捉长期依赖关系。通过将CRF推理重新表述为循环神经网络学习过程，该方法在MOT-2015和MOT-2016数据集上实现了最先进性能，在存在遮挡的拥挤场景中显著减少了身份切换。

ABSTRACT

Existing deep multi-object tracking (MOT) approaches first learn a deep representation to describe target objects and then associate detection results by optimizing a linear assignment problem. Despite demonstrated successes, it is challenging to discriminate target objects under mutual occlusion or to reduce identity switches in crowded scenes. In this paper, we propose learning deep conditional random field (CRF) networks, aiming to model the assignment costs as unary potentials and the long-term dependencies among detection results as pairwise potentials. Specifically, we use a bidirectional long short-term memory (LSTM) network to encode the long-term dependencies. We pose the CRF inference as a recurrent neural network learning process using the standard gradient descent algorithm, where unary and pairwise potentials are jointly optimized in an end-to-end manner. Extensive experimental results on the challenging MOT datasets including MOT-2015 and MOT-2016, demonstrate that our approach achieves the state of the art performances in comparison with published works on both benchmarks.

研究动机与目标

• 解决深度多目标跟踪中在遮挡条件下身份切换频繁和区分度差的挑战。
• 利用结构化图模型建模目标之间的长期时空依赖关系。
• 在深度CRF框架中实现一元势和成对势的端到端学习。
• 通过显式建模目标之间的物理约束，提升拥挤场景下数据关联的鲁棒性。
• 克服在多目标跟踪中目标数量可变时CRF推理的不可计算性问题。

提出的方法

• 一元势通过匹配网络学习，用于计算检测结果与轨迹之间的分配代价。
• 成对势使用双向LSTM建模，以捕捉检测对之间（尤其是困难样本）的长期依赖关系。
• 将CRF推理重新表述为使用标准梯度下降的循环神经网络学习过程。
• 整个框架以端到端方式联合优化一元势和成对势。
• 隐式建模了如目标不重叠、不同时占用等结构约束。
• 在MOT-2015和MOT-2016上使用标准跟踪指标进行端到端训练。

实验结果

研究问题

• RQ1 端到端学习深度CRF模型是否能提升遮挡条件下多目标跟踪中的数据关联性能？
• RQ2 双向LSTM在建模MOT中检测结果之间长期依赖关系方面效果如何？
• RQ3 一元势和成对势的联合优化是否能减少拥挤场景中的身份切换？
• RQ4 将CRF推理表述为RNN学习过程是否能实现可扩展且可微分的推理，适用于可变大小的跟踪图？
• RQ5 所提方法在标准MOT基准测试中与最先进基线方法相比表现如何？

主要发现

• 在MOT-2016上，该方法实现了50.3%的MOTA，优于测试集上所有已发表方法。
• 在MOT-2015上，该方法实现了40.0%的MOTA和49.6%的IDF1，创下新的最先进结果。
• 该方法将MOT-2016上的身份切换（IDS）降低至702次，显著低于对比方法。
• 在MOT-2016上，该模型在MT（18.3%）和ML（35.7%）等挑战性指标上表现优异。
• 可视化结果表明，与先前最先进方法相比，该方法能成功在帧间保持目标5和6的身份一致性。
• 消融实验确认，双向LSTM和端到端训练对性能提升至关重要。