[论文解读] Detection and Tracking of General Movable Objects in Large 3D Maps

Nils Bore, Johan Ekekrantz+2 more|arXiv (Cornell University)|Dec 22, 2017

Robotics and Sensor-Based Localization参考文献 29被引用 3

一句话总结

该论文提出了一种Rao-Blackwellized粒子滤波器，将物体运动分解为局部运动（用卡尔曼滤波器建模）和罕见的全局跳跃（概率建模），从而在间歇性观测条件下，实现对视觉上相似、可移动物体在大型3D地图中的精确多目标跟踪。该方法通过概率建模和对物体后验分布的聚焦采样，在真实世界数据上优于先前的方法。

ABSTRACT

This paper studies the problem of detection and tracking of general objects with long-term dynamics, observed by a mobile robot moving in a large environment. A key problem is that due to the environment scale, it can only observe a subset of the objects at any given time. Since some time passes between observations of objects in different places, the objects might be moved when the robot is not there. We propose a model for this movement in which the objects typically only move locally, but with some small probability they jump longer distances, through what we call global motion. For filtering, we decompose the posterior over local and global movements into two linked processes. The posterior over the global movements and measurement associations is sampled, while we track the local movement analytically using Kalman filters. This novel filter is evaluated on point cloud data gathered autonomously by a mobile robot over an extended period of time. We show that tracking jumping objects is feasible, and that the proposed probabilistic treatment outperforms previous methods when applied to real world data. The key to efficient probabilistic tracking in this scenario is focused sampling of the object posteriors.

研究动机与目标

• 在仅部分目标在任意时刻被观测到的情况下，实现对大规模3D环境中多个视觉上相似的可移动物体的长期跟踪。
• 解决在机器人观测间隙期间物体移动，尤其是罕见的远距离跳跃所带来的挑战。
• 通过建模空间动力学和运动概率，提升跟踪精度，超越基于外观的方法。
• 开发一种可扩展的概率框架，在观测不完整的情况下仍能保持现实的位置后验分布。

提出的方法

• 系统将物体运动建模为局部运动（小幅度、频繁调整）和全局跳跃（罕见、远距离移动）的组合，其中跳跃行为采用概率模型。
• 采用Rao-Blackwellized粒子滤波器，对全局运动和测量关联的后验分布进行采样，而局部运动则通过卡尔曼滤波器进行解析跟踪。
• 通过3D点云中的时间变化检测生成物体检测，随后使用深度学习（如CNN）进行实例分割和特征提取。
• 跟踪器融合视觉特征（来自RGB图像）和空间测量（来自深度数据），以提升鲁棒性，尤其在小物体上表现更优。
• 采用封闭世界假设，假设物体始终位于环境中，并通过参数调优（如p_jump、p_meas）适应观测到的跳跃频率。
• 系统估计物体特定的运动模型方差（Q_k^s），以反映不同移动模式，如椅子与显示器之间的差异。

实验结果

研究问题

• RQ1 移动机器人如何在间歇性观测的大规模3D环境中，对多个视觉上相似的物体实现准确的长期跟踪？
• RQ2 当物体可能进行局部移动或罕见的远距离跳跃时，最优的物体运动建模方式是什么？
• RQ3 结合粒子采样与卡尔曼滤波的混合滤波方法，是否能优于纯基于外观或标准滤波方法的跟踪性能？
• RQ4 在真实场景中，跳跃概率（p_jump）和测量概率（p_meas）等参数如何影响跟踪性能？

主要发现

• 所提出的跟踪器在真实世界数据上显著优于先前方法，尤其在处理跳跃物体和视觉上相似目标方面表现优异。
• 通过融合RGB与深度特征，即使在深度数据噪声较大的情况下，系统仍能实现鲁棒跟踪，尤其显著提升了对小物体（如马克杯）的检测能力。
• 在实验1中，当p_jump设置为0.08（实际跳跃频率约为0.18）时MOTA得分最高；在实验2中，当p_jump设置为0.04（实际跳跃频率约为0.05）时MOTA得分最高，表明参数调优至关重要。
• 如图1所示，系统在时间维度上保持了准确的位置后验分布，其中蓝薰色区域反映了经过多次观测后信念分布的精细化。
• 系统通过依赖空间和运动建模，而非单纯依赖分割结果，成功处理了分割错误（如椅子的过度分割）。
• 在实验1中，通过从数据中估计特征协方差R^f显著提升了结果，表明自适应调优可增强性能。