[论文解读] DeepMOT: A Differentiable Framework for Training Multiple Object Trackers

Yihong Xu, Yutong Ban+2 more|arXiv (Cornell University)|Jun 15, 2019

Video Surveillance and Tracking Methods参考文献 27被引用 29

一句话总结

该论文提出 DeepMOT，一种可微分框架，通过使用深度匈牙利网络（DHN）模块引入 MOTA 和 MOTP 的可微分代理，实现了深度多目标跟踪器的端到端训练。该方法提升了跟踪器性能，并在 MOTChallenge 基准上建立了新的 SOTA（最先进）水平。

ABSTRACT

The recent trend in vision-based multi-object tracking (MOT) is heading towards leveraging the representational power of deep learning to jointly learn to detect and track objects. However, existing methods train only certain sub-modules using loss functions that often do not correlate with established tracking evaluation measures such as Multi-Object Tracking Accuracy (MOTA) and Precision (MOTP). As these measures are not differentiable, the choice of appropriate loss functions for end-to-end training of multi-object tracking methods is still an open research problem. In this paper, we bridge this gap by proposing a differentiable proxy of MOTA and MOTP, which we combine in a loss function suitable for end-to-end training of deep multi-object trackers. As a key ingredient, we propose a Deep Hungarian Net (DHN) module that approximates the Hungarian matching algorithm. DHN allows estimating the correspondence between object tracks and ground truth objects to compute differentiable proxies of MOTA and MOTP, which are in turn used to optimize deep trackers directly. We experimentally demonstrate that the proposed differentiable framework improves the performance of existing multi-object trackers, and we establish a new state of the art on the MOTChallenge benchmark. Our code is publicly available from this https URL.

研究动机与目标

• 为解决使用与标准跟踪评估指标（如 MOTA 和 MOTP）相关性不高的损失函数训练多目标跟踪器的挑战。
• 通过为 MOTA 和 MOTP 创建可微分代理，弥合不可微分的跟踪指标与深度学习优化之间的差距。
• 通过基于实际跟踪性能的损失函数，实现深度多目标跟踪器的端到端训练。
• 开发匈牙利匹配算法的可微分近似，用于轨迹与真实目标之间的对应关系估计。

提出的方法

• 通过使用可学习模块——深度匈牙利网络（DHN）近似匈牙利匹配算法，提出 MOTA 和 MOTP 的可微分代理。
• 利用 DHN 模块以可微分方式估计轨迹与真实目标之间的对应关系，实现匹配过程中的梯度流动。
• 将可微分的 MOTA 和 MOTP 代理组合成单一损失函数，用于深度多目标跟踪器的端到端优化。
• 将可微分损失集成到现有跟踪器架构中，实现检测与跟踪组件的联合优化。
• 采用可微分的 IoU 计算，以在训练过程中支持可微分的跟踪损失。
• 使用反向传播对完整跟踪器进行端到端训练，梯度可流经 DHN 和跟踪损失组件。

实验结果

研究问题

• RQ1 能否使用于多目标跟踪的标准指标 MOTA 和 MOTP 可微分，从而实现深度跟踪器的端到端训练？
• RQ2 如何以可微分方式近似匈牙利匹配算法，以支持多目标跟踪中的基于梯度的优化？
• RQ3 将 MOTA 和 MOTP 的可微分代理作为训练损失是否能提升标准基准上的跟踪器性能？
• RQ4 所提出的框架能否在不进行架构大规模重构的情况下集成到现有深度多目标跟踪架构中？

主要发现

• 所提出的可微分框架 DeepMOT 实现了基于与标准评估指标对齐的损失函数的多目标跟踪器端到端训练。
• 深度匈牙利网络（DHN）模块成功以可微分方式近似匈牙利匹配算法，使梯度可流经轨迹与真实目标对应关系的估计过程。
• 该方法在 MOTChallenge 基准上提升了现有多目标跟踪器的性能，实现了新的 SOTA 水平。
• 可微分的 MOTA 和 MOTP 代理相比标准检测与跟踪损失组合，带来了更有效的优化。