[论文解读] Machine Learning Methods for Solving Assignment Problems in Multi-Target Tracking

Patrick Emami, Pãnos M. Pardalos+2 more|arXiv (Cornell University)|Feb 19, 2018

Data Management and Algorithms参考文献 123被引用 56

一句话总结

本综述通过将多目标跟踪中的数据关联与轨迹关联统一为多维分配问题（MDAP）——一类已知的NP难组合优化问题——实现了对机器学习方法的统一。综述涵盖了经典方法与数据驱动方法（包括深度学习和表示学习），突出展示了该领域的最新进展与基准测试标准。

ABSTRACT

Data association and track-to-track association, two fundamental problems in single-sensor and multi-sensor multi-target tracking, are instances of an NP-hard combinatorial optimization problem known as the multidimensional assignment problem (MDAP). Over the last few years, data-driven approaches to tackling MDAPs in tracking have become increasingly popular. We argue that viewing multi-target tracking as an assignment problem conceptually unifies the wide variety of machine learning methods that have been proposed for data association and track-to-track association. In this survey, we review recent literature, provide rigorous formulations of the assignment problems encountered in multi-target tracking, and review classic approaches used prior to the shift towards data-driven techniques. Recent attempts at using deep learning to solve NP-hard combinatorial optimization problems, including data association, are discussed as well. We highlight representation learning methods for multi-sensor applications and conclude by providing an overview of current multi-target tracking benchmarks.

研究动机与目标

• 将多目标跟踪中多样化的机器学习方法（包括数据关联与轨迹间关联）统一于多维分配问题（MDAP）的共同框架下。
• 为单传感器与多传感器多目标跟踪中出现的分配问题提供严谨的数学建模。
• 回顾数据驱动学习方法兴起之前所采用的经典优化技术。
• 分析近年来基于深度学习的方法在求解跟踪应用中NP难MDAP问题上的表现。
• 总结当前多目标跟踪基准测试，并评估该领域的最先进水平。

提出的方法

• 将数据关联与轨迹间关联形式化为多维分配问题（MDAP）的实例，MDAP是一类已知的NP难组合优化问题。
• 调研在数据驱动学习方法兴起之前广泛使用的传统优化技术，如分支定界法、拍卖算法和匈牙利方法。
• 回顾专为MDAP设计的深度学习架构，包括可微松弛方法、图神经网络以及端到端学习框架。
• 强调用于多传感器跟踪的表示学习技术，重点聚焦于特征嵌入与跨传感器关联。
• 分析神经网络与经典优化求解器的集成，以提升解的质量与计算效率。
• 全面概述用于评估方法性能的标准多目标跟踪基准测试集。

实验结果

研究问题

• RQ1 如何在MDAP框架下正式统一多目标跟踪中的数据关联与轨迹间关联？
• RQ2 经典优化方法在实时跟踪的大规模MDAP问题求解中存在哪些关键局限性？
• RQ3 与传统方法相比，基于深度学习的方法在解的质量与可扩展性方面有何改进？
• RQ4 表示学习在提升多传感器数据关联性能方面发挥何种作用？
• RQ5 当前用于评估最先进多目标跟踪系统的基准测试与评估协议有哪些？

主要发现

• MDAP框架为多目标跟踪中多样化的机器学习方法提供了统一且概念一致的基础。
• 经典优化方法依然具有相关性，但在大规模跟踪问题的可扩展性与实时性能方面面临挑战。
• 基于深度学习的方法，特别是结合可微松弛与图神经网络的方法，在复杂关联任务中展现出更高的准确率与鲁棒性。
• 表示学习能够实现更有效的跨传感器特征对齐，显著提升多传感器跟踪性能。
• 标准化基准测试如MOTChallenge和多目标跟踪数据集对于新方法的公平且可复现的评估至关重要。
• 将神经网络与经典求解器结合，为实现高精度与计算效率提供了有前景的发展路径。