[论文解读] Flight Controller Synthesis Via Deep Reinforcement Learning

William R. Koch|arXiv (Cornell University)|Sep 14, 2019

Reinforcement Learning in Robotics参考文献 67被引用 15

一句话总结

本文提出了一种基于深度强化学习（DRL）的框架，用于合成神经飞行控制器，在姿态控制和精确特技飞行方面优于传统控制方法。该研究引入了GymFC，用于模拟多旋翼机的数字孪生体，并开发了Neuroflight——一个开源固件，支持将训练好的神经网络部署到现成的微控制器上，实现了从端到端训练到部署的稳定真实飞行。

ABSTRACT

Traditional control methods are inadequate in many deployment settings involving control of Cyber-Physical Systems (CPS). In such settings, CPS controllers must operate and respond to unpredictable interactions, conditions, or failure modes. Dealing with such unpredictability requires the use of executive and cognitive control functions that allow for planning and reasoning. Motivated by the sport of drone racing, this dissertation addresses these concerns for state-of-the-art flight control by investigating the use of deep neural networks to bring essential elements of higher-level cognition for constructing low level flight controllers. This thesis reports on the development and release of an open source, full solution stack for building neuro-flight controllers. This stack consists of the methodology for constructing a multicopter digital twin for synthesize the flight controller unique to a specific aircraft, a tuning framework for implementing training environments (GymFC), and a firmware for the world's first neural network supported flight controller (Neuroflight). GymFC's novel approach fuses together the digital twinning paradigm for flight control training to provide seamless transfer to hardware. Additionally, this thesis examines alternative reward system functions as well as changes to the software environment to bridge the gap between the simulation and real world deployment environments. Work summarized in this thesis demonstrates that reinforcement learning is able to be leveraged for training neural network controllers capable, not only of maintaining stable flight, but also precision aerobatic maneuvers in real world settings. As such, this work provides a foundation for developing the next generation of flight control systems.

研究动机与目标

• 解决传统控制方法在处理网络物理系统（CPS）中不可预测的动力学和故障模式方面的局限性，特别是在自主飞行中的应用。
• 开发一种可扩展的端到端解决方案，利用强化学习训练和部署基于深度神经网络的飞行控制器。
• 通过高保真数字孪生体和优化的编译工具链，实现从仿真到真实硬件的无缝迁移。
• 提供开源软件栈（GymFC和Neuroflight），使研究人员和开发者能够更广泛地获取神经飞行控制器开发能力。
• 通过优化奖励函数和增强环境动力学（如风力和电机非线性）的仿真保真度，弥合仿真到现实的差距。

提出的方法

• 使用GymFC设计仿真环境，这是一个模块化的强化学习框架，将数字孪生建模与飞行控制训练相结合，以实现精确的硬件迁移。
• 实现一个多旋翼机的数字孪生体，建模推力、扭矩、重力以及风力等外部干扰，以提升仿真的真实感。
• 通过自定义奖励函数，利用深度强化学习（DRL）训练深度神经网络，重点强调姿态稳定性和精确机动性能。
• 使用自定义工具链将训练好的神经网络编译为优化的AOT（Ahead-of-Time）编译代码，通过Neuroflight固件在资源受限的微控制器上部署。
• 通过将编译后的模型烧录到现成的飞控硬件上，进行软硬件协同（HITL）验证，并在真实飞行中进行测试。
• 应用架构改进，如使用ReLU激活函数，并探索有界分布（如β函数），以提升稳定性并降低推理延迟。

实验结果

研究问题

• RQ1 深度强化学习能否生成在姿态控制和特技飞行精度方面优于传统PID控制的神经飞行控制器？
• RQ2 数字孪生体在多大程度上能够准确建模真实世界动力学（包括电机非线性和环境干扰），从而实现可靠的仿真到现实迁移？
• RQ3 如何设计一个完整的开源软件栈（仿真、训练、编译、固件），以实现在通用硬件上的神经飞行控制器端到端部署？
• RQ4 在最小化仿真到现实域差距方面，哪些奖励函数设计和环境建模策略最为有效？
• RQ5 为在内存和计算能力有限的微控制器上高效部署复杂神经网络，需要哪些架构和编译优化？

主要发现

• 通过深度强化学习训练的神经网络控制器在仿真和真实飞行中，姿态控制精度均高于商用PID飞行控制器。
• GymFC框架成功实现了将训练好的策略从仿真环境无缝迁移到真实硬件，展示了在现成四旋翼机上的稳定飞行性能。
• Neuroflight固件及其配套工具链实现了对训练好的神经网络在微控制器上的AOT编译推理，达到低延迟的实时执行。
• 通过建模电机非线性动力学、风力影响和电池放电特性，显著提升了仿真保真度，减少了仿真与真实部署之间的性能差距。
• 奖励函数工程——特别是引入精确机动目标——对于训练能够执行复杂特技飞行的控制器至关重要。
• 未来工作识别出在线增量学习和动态数字孪生体同步是实现实时适应和长期鲁棒性的关键。