[论文解读] A Framework for Visually Realistic Multi-robot Simulation in Natural Environment

Ori Ganoni, Ramakrishnan Mukundan|arXiv (Cornell University)|Aug 6, 2017

Robotics and Sensor-Based Localization被引用 11

一句话总结

本文提出了一种基于虚幻引擎4（UE4）的视觉逼真多旋翼无人机仿真框架，可在复杂自然环境中生成照片级真实的光学与深度传感器数据。该框架支持在风力和光照变化等动态条件下测试计算机视觉算法，即使在遮挡严重的森林环境中也能实现有效的无人机跟踪，并真实还原环境退化效应。

ABSTRACT

This paper presents a generalized framework for the simulation of multiple robots and drones in highly realistic models of natural environments. The proposed simulation architecture uses the Unreal Engine4 for generating both optical and depth sensor outputs from any position and orientation within the environment and provides several key domain specific simulation capabilities. Various components and functionalities of the system have been discussed in detail. The simulation engine also allows users to test and validate a wide range of computer vision algorithms involving different drone configurations under many types of environmental effects such as wind gusts. The paper demonstrates the effectiveness of the system by giving experimental results for a test scenario where one drone tracks the simulated motion of another in a complex natural environment.

研究动机与目标

• 开发一种可扩展的、视觉逼真的仿真框架，用于复杂自然环境中的多机器人与多旋翼无人机系统。
• 将高保真环境效应（如风力、动态光照和植被运动）集成到无人机仿真中，以实现逼真的计算机视觉测试。
• 利用游戏引擎提供的真实世界传感器输出与真实轨迹数据，实现对基于视觉的跟踪与导航算法的精确评估。
• 通过利用UE4先进的渲染与物理能力，弥合仿真真实度与实际机器人研究之间的差距。
• 提供一个独立的、支持SITL的仿真环境，兼容真实无人机固件（如ArduPilot、PX4），支持端到端测试。

提出的方法

• 该框架以虚幻引擎4为核心仿真引擎，根据无人机的位置与姿态生成照片级真实的视觉与深度传感器输出。
• 集成软件在回路（SITL）执行功能，支持ArduPilot与PX4无人机固件，实现对无人机的实时控制与传感器仿真。
• 在UE4中模拟风力阵风与动态光照等环境效应，影响无人机动力学与视觉传感器数据。
• 系统支持真实的自然特征，如树木、草地与植被，其在不同光照条件下会遮挡视野并改变视觉外观。
• 开发了基于nvidia-smi与Python psutil的自定义性能监控工具，用于在场景回放与仿真过程中监控GPU与CPU利用率。
• 仿真架构支持多机器人交互，其中一架无人机在森林环境中使用基于颜色的HSV跟踪器对另一架无人机进行跟踪。

实验结果

研究问题

• RQ1 基于游戏引擎的仿真框架能否在自然环境中为多旋翼无人机系统生成视觉逼真且物理解释合理的传感器输出？
• RQ2 风力与树冠阴影等环境因素如何影响仿真中基于视觉的跟踪算法性能？
• RQ3 基于UE4的仿真环境在多大程度上能复现现实世界中视觉退化与动态干扰对无人机跟踪任务的影响？
• RQ4 该框架能否在保持高保真视觉与深度传感器输出的同时，支持真实无人机固件的SITL执行？
• RQ5 当面临GPU密集型摄像机运动与复杂场景渲染时，系统的性能如何扩展？

主要发现

• 该框架成功从复杂自然环境（包括具有动态植被的森林）中任意无人机位置与姿态生成了照片级真实的光学与深度传感器输出。
• 当无人机进入森林区域时，跟踪性能显著下降，原因在于树冠阴影改变了颜色与亮度分量，超出跟踪器的阈值范围。
• 风力模拟导致无人机中心位置估计出现更大振荡，尤其在起飞与着陆阶段，原因包括高频机动与视角变化。
• 在摄像机密集型运动期间，GPU利用率达到100%，直接影响帧率，并因图像处理频率降低导致CPU负载下降。
• 在一致环境条件下，系统表现出结果可重复性；在不同条件（如是否存在风力）下表现出可变性，验证了其在受控实验中的适用性。
• 该仿真框架能够可靠地生成真实世界视觉退化与动态环境效应下的真实轨迹数据，用于评估视觉算法。