[论文解读] Implementation of an Onboard Visual Tracking System with Small Unmanned Aerial Vehicle (UAV)

Ashraf Qadir, William Semke+1 more|arXiv (Cornell University)|May 25, 2012

Robotics and Sensor-Based Localization参考文献 7被引用 11

一句话总结

本文提出了一种计算效率高、可在小型无人机上实时运行的机载视觉跟踪系统，该系统使用有效载荷计算机实现自主运行。系统采用两种目标初始化方法——飞行前存储的图像片段或地面操作员选择——并能有效应对光照变化和视角变化，成功在实验室和飞行测试中实现实时跟踪，并在跟踪失败后具备重新检测能力。

ABSTRACT

This paper presents a visual tracking system that is capable or running real time on-board a small UAV (Unmanned Aerial Vehicle). The tracking system is computationally efficient and invariant to lighting changes and rotation of the object or the camera. Detection and tracking is autonomously carried out on the payload computer and there are two different methods for creation of the image patches. The first method starts detecting and tracking using a stored image patch created prior to flight with previous flight data. The second method allows the operator on the ground to select the interest object for the UAV to track. The tracking system is capable of re-detecting the object of interest in the events of tracking failure. Performance of the tracking system was verified both in the lab and during actual flights of the UAV. Results show that the system can run on-board and track a diverse set of objects in real time.

研究动机与目标

• 解决在计算资源受限的小型无人机上实现实时视觉跟踪的挑战，其机载处理能力有限。
• 实现在无GPS或外部基础设施支持下对选定目标的自主跟踪。
• 确保在飞行过程中对光照变化以及目标/相机旋转具有鲁棒性。
• 提供两种初始化方法：飞行前存储的图像片段或实时地面操作员选择。
• 在跟踪失败后实现可靠的重新检测，以维持任务连续性。

提出的方法

• 采用计算效率高的基于图像块的视觉跟踪算法，适用于小型无人机上的嵌入式系统。
• 通过自适应特征表示的模板匹配方法，在不同光照条件下保持跟踪稳定性。
• 通过利用局部强度模式或基于梯度的特征，实现旋转不变的跟踪机制。
• 引入重新检测模块，当跟踪置信度低于阈值时触发，使用最后已知位置附近的搜索窗口。
• 支持双初始化方式：可选择预先存储的图像片段（来自先前飞行数据）或来自地面控制的实时选择。
• 完全在无人机的机载计算机上运行，最大限度降低延迟并减少对外部系统的依赖。

实验结果

研究问题

• RQ1 轻量级视觉跟踪系统是否能在计算资源有限的小型无人机上实现实时性能？
• RQ2 该跟踪系统在飞行过程中对光照变化和目标/相机旋转的鲁棒性如何？
• RQ3 飞行前模板初始化与实时地面操作员选择之间的性能权衡是什么？
• RQ4 系统是否能可靠地在临时跟踪失败后重新检测目标？
• RQ5 该系统在实际无人机飞行操作中能多大程度保持精度和稳定性？

主要发现

• 系统仅使用无人机的机载有效载荷计算机即可实现实时运行，无需外部支持。
• 在不同光照条件下以及目标旋转情况下，跟踪性能保持稳定，表现出良好的鲁棒性。
• 重新检测机制能有效从跟踪失败中恢复，确保自主运行的连续性。
• 两种初始化方法——预存储的图像片段和实时选择——均能在多样化场景中实现可靠跟踪。
• 实验室和飞行测试证实，系统能够以一致的精度跟踪多种目标。
• 系统实现了低计算开销的实时性能，适用于小型、低功耗无人机平台。