[论文解读] DeepDA: LSTM-based Deep Data Association Network for Multi-Targets Tracking in Clutter

Huajun Liu, Hui Zhang+1 more|arXiv (Cornell University)|Jul 16, 2019

Target Tracking and Data Fusion in Sensor Networks参考文献 37被引用 8

一句话总结

DeepDA 提出了一种基于LSTM的深度学习框架，用于在杂波环境中进行多目标跟踪，直接从噪声雷达数据中学习测量到轨迹的关联概率，而无需依赖手工设计的模型或先验知识。通过BPTT和RMSprop训练，其在关联准确率、减少ID切换以及计算成本方面均优于经典方法。

ABSTRACT

The Long Short-Term Memory (LSTM) neural network based data association algorithm named as DeepDA for multi-target tracking in clutters is proposed to deal with the NP-hard combinatorial optimization problem in this paper. Different from the classical data association methods involving complex models and accurate prior knowledge on clutter density, filter covariance or associated gating etc, data-driven deep learning methods have been extensively researched for this topic. Firstly, data association mathematical problem for multitarget tracking on unknown target number, missed detection and clutter, which is beyond one-to-one mapping between observations and targets is redefined formally. Subsequently, an LSTM network is designed to learn the measurement-to-track association probability from radar noisy measurements and exist tracks. Moreover, an LSTM-based data-driven deep neural network after a supervised training through the BPTT and RMSprop optimization method can get the association probability directly. Experimental results on simulated data show a significant performance on association ratio, target ID switching and time-consuming for tracking multiple targets even they are crossing each other in the complicated clutter environment.

研究动机与目标

• 为解决在杂波、漏检和未知目标数量条件下的多目标跟踪中的NP难组合优化问题。
• 消除对复杂模型和先验假设（如杂波密度、滤波协方差或门限值）的依赖。
• 开发一种数据驱动方法，直接从噪声测量和现有轨迹中学习关联概率。
• 在目标交叉和高杂波等复杂场景下提升跟踪准确率和效率。

提出的方法

• 将多目标跟踪数据关联问题重新表述为使用LSTM网络的序列建模任务。
• 设计一种基于LSTM的深度神经网络，从雷达观测和轨迹历史中预测测量到轨迹的关联概率。
• 采用时间反向传播（BPTT）和RMSprop对模拟数据进行监督训练。
• 以一系列测量和轨迹状态作为输入，以建模目标运动和观测模式的时间依赖性。
• 端到端学习从原始输入到关联概率的映射，无需显式门控或滤波启发式方法。
• 将数据关联视为序列预测问题，从而增强对噪声和遮挡的鲁棒性。

实验结果

研究问题

• RQ1 端到端深度学习模型是否能有效在无先验假设的情况下学习杂波环境中多目标跟踪的数据关联？
• RQ2 与经典滤波和组合优化方法相比，基于LSTM的方法在关联准确率和ID切换方面表现如何？
• RQ3 数据驱动模型在保持高杂波环境下鲁棒性的同时，能在多大程度上降低计算开销？
• RQ4 通过LSTM进行时间建模是否能提升目标交叉或间歇性检测时的跟踪性能？

主要发现

• 在高杂波场景下，DeepDA的关联比率显著高于传统方法。
• 通过LSTM记忆单元学习长期时间依赖性，模型有效减少了目标ID切换。
• 由于采用直接预测而非穷举搜索，计算时间显著低于组合优化方法。
• 即使在目标交叉或间歇性检测的情况下，性能依然稳健，表明在模拟雷达数据上具有强大的泛化能力。