[论文解读] Eliminating Exposure Bias and Loss-Evaluation Mismatch in Multiple Object Tracking

Andrii Maksai, Pascal Fua|arXiv (Cornell University)|Nov 27, 2018

Video Surveillance and Tracking Methods参考文献 6被引用 13

一句话总结

本文提出了一种新型的多目标跟踪训练方法，通过采用迭代的、富含暴露信息的数据生成方案以及一个直接代理IDF1跟踪指标的可学习评分函数，消除了模型的暴露偏差和损失-评估不匹配问题。该方法在MOT15、MOT17和DukeMTMC基准上均优于当前最先进方法，即使仅使用几何特征也表现优异，并在引入外观特征后取得了最先进性能。

ABSTRACT

Identity Switching remains one of the main difficulties Multiple Object Tracking (MOT) algorithms have to deal with. Many state-of-the-art approaches now use sequence models to solve this problem but their training can be affected by biases that decrease their efficiency. In this paper, we introduce a new training procedure that confronts the algorithm to its own mistakes while explicitly attempting to minimize the number of switches, which results in better training. We propose an iterative scheme of building a rich training set and using it to learn a scoring function that is an explicit proxy for the target tracking metric. Whether using only simple geometric features or more sophisticated ones that also take appearance into account, our approach outperforms the state-of-the-art on several MOT benchmarks.

研究动机与目标

• 为解决拥挤场景中身份切换这一主要挑战。
• 解决损失-评估不匹配问题，即训练损失与实际跟踪指标（如IDF1、MOTA）不一致的问题。
• 通过在训练过程中让模型接触自身预测结果，而非仅依赖真实轨迹，从而消除暴露偏差。
• 设计一个显式代理IDF指标的评分函数，实现端到端的跟踪性能训练。
• 展示仅使用几何特征即可达到最先进性能，并在引入外观特征后进一步提升性能。

提出的方法

• 提出一种迭代训练方案，通过考虑所有可能的轨迹组合（而不仅真实轨迹）来生成丰富的训练数据。
• 采用一个可学习的评分函数，用于估计身份置信度、边界框紧致度和轨迹延伸性，直接代理IDF1指标，且无需真实标签。
• 使用基于RNN的序列模型，结合分类、回归和代理评分函数的损失函数进行训练，以最小化身份切换。
• 在训练过程中采用温度退火调度，对softmax概率缩放进行调节，以稳定轨迹合并决策。
• 采用批量训练协议，支持可变长度序列（训练时3秒，推理时6秒），并在使用DPM检测器时引入边界框偏移回归。
• 在CUHK03上预训练重识别网络，并在训练序列上进行微调，超参数通过在验证数据上进行网格搜索进行调优。

实验结果

研究问题

• RQ1 一种在训练中让模型接触自身预测结果的训练流程，能否有效减少多目标跟踪中的暴露偏差？
• RQ2 一个显式代理IDF1指标的评分函数，能否提升损失与实际评估指标之间的对齐性？
• RQ3 消除损失-评估不匹配是否能带来更好的泛化能力并减少身份切换？
• RQ4 模型是否能在不使用外观建模的情况下，仅依靠几何特征实现最先进性能？
• RQ5 所提方法是否能在MOT15、MOT17和DukeMTMC等多样化基准上有效扩展？

主要发现

• 在DukeMTMC数据集上，所提方法（OURS）在Easy集上达到76.8的IDF1和65.4的MOTA，优于所有基线方法，包括REID和CDSC。
• 在DukeMTMC的Hard集上，该方法实现22.2的MOTA和27.2的IDF1，显著优于SORT（21.7 MOTA）和RNN（19.0 MOTA）。
• 在MOT15上，该方法实现74.6/70.1的整体MOTA/IDF1，超越SORT（24.9/49.9）及其他SOTA方法。
• 在MOT17上，该方法实现50.9的MOTA和52.7的IDF1，优于DMAN、JCC和MOTDT17，位列顶尖方法之中。
• 即使不使用外观特征（OURS-geom），该方法在DukeMTMC Easy集上仍实现65.5的IDF1和59.1的MOTA，证明仅靠几何线索即可实现强大性能。
• 消融实验验证了所提评分函数和迭代数据生成机制在减少身份切换和提升跟踪鲁棒性方面的关键作用。