[论文解读] Human Following for Wheeled Robot with Monocular Pan-tilt Camera

Zheng Zhu, Hongxuan Ma+1 more|arXiv (Cornell University)|Sep 13, 2019

Video Surveillance and Tracking Methods参考文献 61被引用 4

一句话总结

本文提出了一种基于单目云台相机的人类跟随系统，通过利用人体身高约束并采用统一控制器，消除了对深度传感器的需求。该系统结合孪生网络与光流实现鲁棒的视觉跟踪（FlowTrack++），实现了实时、精确的目标定位与运动控制，在仿真和真实世界实验中均表现出稳定的跟随性能，且跟踪误差极小。

ABSTRACT

Human following on mobile robots has witnessed significant advances due to its potentials for real-world applications. Currently most human following systems are equipped with depth sensors to obtain distance information between human and robot, which suffer from the perception requirements and noises. In this paper, we design a wheeled mobile robot system with monocular pan-tilt camera to follow human, which can stay the target in the field of view and keep following simultaneously. The system consists of fast human detector, real-time and accurate visual tracker, and unified controller for mobile robot and pan-tilt camera. In visual tracking algorithm, both Siamese networks and optical flow information are exploited to locate and regress human simultaneously. In order in perform following with a monocular camera, the constraint of human height is introduced to design the controller. In experiments, human following are conducted and analysed in simulations and a real robot platform, which demonstrate the effectiveness and robustness of the overall system.

研究动机与目标

• 开发一种不依赖深度传感器的人类跟随系统，以降低硬件复杂度并减少对噪声的敏感性。
• 在保持目标位于相机视场范围内的同时，使目标在图像中的高度接近预设常数，确保跟踪的一致性。
• 设计一种统一控制器，结合单目视觉与人体身高约束，同时控制机器人运动与云台相机的俯仰/偏航运动。
• 通过一种新型视觉跟踪器（FlowTrack++）提升在遮挡、尺度变化和背景变化下的跟踪鲁棒性。

提出的方法

• 使用快速的YOLO检测器在首帧初始化人体边界框。
• FlowTrack++视觉跟踪器结合孪生网络与光流，实现实时同步的目标定位与回归。
• 应用难负样本挖掘以抑制对干扰物的响应，提升跟踪稳定性。
• 实施失败恢复策略以应对遮挡和目标离屏事件。
• 统一控制器利用基于图像的误差信号（e_u, e_v, e_v2）与身高约束（h ≈ H）生成机器人速度（V_r）与角速度（ω_r），以及云台的俯仰/偏航角度（α, β）。
• 控制器利用已知的人体身高（1.8m）从单目图像高度估计深度，实现在无深度传感器情况下的距离感知控制。

实验结果

研究问题

• RQ1 单目相机系统能否在无深度传感器的情况下，有效追踪动态环境中的目标？
• RQ2 如何仅基于单目图像反馈与人体身高约束，设计一种统一控制器以同时控制机器人运动与云台相机？
• RQ3 结合孪生网络与光流在遮挡与尺度变化下，对跟踪鲁棒性的提升程度如何？
• RQ4 在真实世界的人类跟随场景中，所提出的FlowTrack++跟踪器与ECO和GOTURN相比表现如何？

主要发现

• 在仿真中，控制器成功将目标保持在图像中心附近，目标高度稳定在h ≈ 100像素，且机器人轨迹平滑，即使目标沿圆形路径移动亦然。
• 在室内实验中，FlowTrack++将目标高度h保持在约500像素，e_u与e_v始终接近零；而ECO与GOTURN则表现出显著波动。
• 在室外实验中，FlowTrack++将e_u与e_v控制在±20像素以内，h稳定在约300像素，展现出在光照变化与背景杂乱等真实世界挑战下的鲁棒性。
• 由于光流聚合与难负样本挖掘机制，FlowTrack++能有效应对姿态变化、尺度变化、遮挡与干扰物。
• 失败恢复策略在遮挡后实现目标的快速重新捕获，减少了跟踪漂移，提升了系统可靠性。