[论文解读] FlightGoggles: A Modular Framework for Photorealistic Camera, Exteroceptive Sensor, and Dynamics Simulation

Winter Guerra, Ezra Tal+3 more|arXiv (Cornell University)|May 27, 2019

Aerospace and Aviation Technology参考文献 26被引用 4

一句话总结

FlightGoggles 是一个模块化、逼真的仿真框架，结合了基于摄影测量法的传感器渲染与实时动作捕捉数据，可实现对自主无人机的高保真车辆-在回路测试。它通过融合合成传感器数据与真实飞行器运动，实现逼真的外部感知与动力学建模，显著加速了复杂环境中敏捷、感知驱动飞行的开发进程。

ABSTRACT

FlightGoggles is a photorealistic sensor simulator for perception-driven robotic vehicles. The key contributions of FlightGoggles are twofold. First, FlightGoggles provides photorealistic exteroceptive sensor simulation using graphics assets generated with photogrammetry. Second, it provides the ability to combine (i) synthetic exteroceptive measurements generated in silico in real time and (ii) vehicle dynamics and proprioceptive measurements generated in motio by vehicle(s) in a motion-capture facility. FlightGoggles is capable of simulating a virtual-reality environment around autonomous vehicle(s). While a vehicle is in flight in the FlightGoggles virtual reality environment, exteroceptive sensors are rendered synthetically in real time while all complex extrinsic dynamics are generated organically through the natural interactions of the vehicle. The FlightGoggles framework allows for researchers to accelerate development by circumventing the need to estimate complex and hard-to-model interactions such as aerodynamics, motor mechanics, battery electrochemistry, and behavior of other agents. The ability to perform vehicle-in-the-loop experiments with photorealistic exteroceptive sensor simulation facilitates novel research directions involving, e.g., fast and agile autonomous flight in obstacle-rich environments, safe human interaction, and flexible sensor selection. FlightGoggles has been utilized as the main test for selecting nine teams that will advance in the AlphaPilot autonomous drone racing challenge. We survey approaches and results from the top AlphaPilot teams, which may be of independent interest.

研究动机与目标

• 为解决机器人领域对仿真结果的怀疑态度，创建更加真实可信的仿真环境。
• 克服传统仿真器依赖于车辆动力学、传感器行为与环境交互的抽象化模型所带来的局限性。
• 利用摄影测量法生成的逼真图形，实现对外部传感器（如摄像头、LiDAR）的高保真、实时仿真。
• 将真实世界飞行器运动与动作捕捉实验室中的人类行为数据集成到仿真环境中，实现精确的动力学建模。
• 支持感知驱动的自主系统快速开发与测试，特别是在复杂、障碍物密集的环境中。

提出的方法

• 使用摄影测量法将真实世界环境与物体重建为高保真3D模型，用于仿真中的逼真渲染。
• 利用游戏引擎技术（如 Unreal Engine）创建虚拟现实环境，实现实时外部传感器渲染。
• 将物理飞行器与人类演员的实时动作捕捉数据流式传输至仿真系统，以驱动飞行器动力学与本体感觉测量。
• 该框架将传感器仿真（软件内）与飞行器动力学（动作捕捉中）解耦，支持具备真实物理与行为特征的车辆-在回路实验。
• 在动作捕捉实验室中飞行时，从真实机载传感器收集本体感觉数据（如 IMU、里程计），并与合成传感器输出同步。
• 系统支持灵活的传感器配置，包括摄像头、红外信标、飞行时间传感器以及模拟 IMU，支持多样化的感知流水线测试。

实验结果

研究问题

• RQ1 与传统合成渲染相比，使用摄影测量法进行逼真传感器仿真是否能显著提升机器人感知仿真的保真度与真实感？
• RQ2 在无需显式建模的情况下，如何有效整合飞行器与人类代理的真实动作捕捉数据，以实现复杂动力学的建模？
• RQ3 将合成外部感知传感与真实飞行器动力学相结合，如何影响感知与控制算法测试的有效性与可靠性？
• RQ4 此类混合仿真框架是否能够加速并提升在复杂环境中自主飞行系统开发的速度与鲁棒性？
• RQ5 在真实世界基准挑战中，使用该仿真平台的团队的性能特征与算法趋势如何？

主要发现

• FlightGoggles 作为 AlphaPilot 自主无人机竞速挑战赛的主要测试平台，成功筛选出九支决赛队伍。
• 在挑战赛的20支顶尖队伍中，19支采用传统感知-规划-控制架构（估计、规划、控制），仅1支采用端到端学习方法。
• 全部20支顶尖队伍均使用了仿真 IMU 与红外信标传感器，其中10支还额外集成了摄像头与飞行时间传感器。
• 由于在门框附近需执行搜索与跟踪任务，平均速度显著下降，且大多数坠毁事件也发生在门框附近，表明视觉伺服控制精度存在挑战。
• 75%的参赛者未能完成25个评估课程中的一半，反映出为追求最高速度而采取了高风险策略，且得分标准差较大，表明性能波动显著。
• 该框架成功实现了高保真、实时的仿真，有效支持了在复杂、障碍物密集环境中敏捷、感知驱动的自主飞行系统的开发。