[论文解读] Flappy Hummingbird: An Open Source Dynamic Simulation of Flapping Wing Robots and Animals

Fei Fan, Zhan Tu+3 more|arXiv (Cornell University)|Feb 25, 2019

Biomimetic flight and propulsion mechanisms参考文献 24被引用 4

一句话总结

本文提出了一种基于物理模型的开源高保真动态仿真，用于扑翼微型飞行器（FWMAVs）及动物，采用DART与叶片元气动模型。该仿真可实现线性控制与深度强化学习控制器的精确端到端迁移，经由悬停与高速机动实验验证，飞行性能匹配度高。

ABSTRACT

Insects and hummingbirds exhibit extraordinary flight capabilities and can simultaneously master seemingly conflicting goals: stable hovering and aggressive maneuvering, unmatched by small scale man-made vehicles. Flapping Wing Micro Air Vehicles (FWMAVs) hold great promise for closing this performance gap. However, design and control of such systems remain challenging due to various constraints. Here, we present an open source high fidelity dynamic simulation for FWMAVs to serve as a testbed for the design, optimization and flight control of FWMAVs. For simulation validation, we recreated the hummingbird-scale robot developed in our lab in the simulation. System identification was performed to obtain the model parameters. The force generation, open-loop and closed-loop dynamic response between simulated and experimental flights were compared and validated. The unsteady aerodynamics and the highly nonlinear flight dynamics present challenging control problems for conventional and learning control algorithms such as Reinforcement Learning. The interface of the simulation is fully compatible with OpenAI Gym environment. As a benchmark study, we present a linear controller for hovering stabilization and a Deep Reinforcement Learning control policy for goal-directed maneuvering. Finally, we demonstrate direct simulation-to-real transfer of both control policies onto the physical robot, further demonstrating the fidelity of the simulation.

研究动机与目标

• 为扑翼微型飞行器（FWMAVs）及仿生飞行器解决缺乏可访问、高保真仿真工具的问题。
• 在无需昂贵物理原型制作的前提下，实现FWMAV的快速设计优化与控制算法开发。
• 通过在真实蜂鸟尺度机器人上直接进行仿真到现实的控制策略迁移，验证仿真保真度。
• 为控制理论、强化学习与生物飞行研究提供基准环境。
• 支持与ROS和Gazebo集成，以推进感知、定位与控制等高级机器人研究。

提出的方法

• 基于C++开发仿真系统，并通过Python绑定支持DART物理引擎，用于多体动力学与接触建模。
• 实现自定义的准稳态叶片元气动模型，并通过真实机器人上的力/力矩测量进行校准。
• 对真实FWMAV执行系统辨识，提取精确的物理参数（质量、惯性、弹簧刚度等）。
• 支持OpenAI Gym接口，实现与强化学习及控制理论研究的无缝集成。
• 设计线性级联PID控制器用于位置跟踪，以及基于深度确定性策略梯度（DDPG）的策略用于目标导向机动。
• 在DRL训练过程中应用动力学随机化，以提升鲁棒性并确保仿真到现实的可迁移性。

实验结果

研究问题

• RQ1 高保真仿真能否准确复现真实扑翼微型飞行器的动力学行为？
• RQ2 在无需重新调参的情况下，仿真中训练的控制策略在真实FWMAV硬件上成功迁移的程度如何？
• RQ3 该仿真在多大程度上捕捉了敏捷机动所依赖的非定常气动与非线性飞行动力学？
• RQ4 该仿真能否作为训练与评估扑翼飞行中强化学习策略的可靠基准？
• RQ5 将电机与接触动力学的触觉反馈纳入仿真，如何增强控制与规划性能？

主要发现

• 仿真在开环状态转移动力学方面达到高保真度，状态转移误差与实验数据在可接受范围内匹配。
• 采用调校后的PID控制器进行闭环控制时，仿真与实验性能几乎完全一致，各轴RMS跟踪误差差异小于10%。
• 基于DDPG的强化学习策略成功学习从[0,0,0]到[-0.21,0,0]的快速多轴机动，包含180°偏航变化，复现了蜂鸟逃避行为。
• PID与DRL控制器均无需领域随机化或重新调参即成功实现仿真到现实的迁移，证实了仿真保真度。
• 仿真准确捕捉了非线性动力学，包括滚转力矩偏移与推力不对中现象，这些现象在仿真与真实飞行中均被观测到。
• 通过与ROS和Gazebo的集成，仿真支持高级机器人研究，包括感知、定位与触觉反馈建模。