[论文解读] Data-Efficient Deep Reinforcement Learning for Attitude Control of Fixed-Wing UAVs: Field Experiments

Eivind Bøhn, Erlend M. Coates+2 more|arXiv (Cornell University)|Nov 7, 2021

Adaptive Control of Nonlinear Systems被引用 4

一句话总结

本文提出了一种数据高效的深度强化学习（DRL）方法，用于固定翼无人机的姿态控制。该方法仅需约三分钟的真实飞行数据，在仿真环境中训练控制器，并直接部署到真实飞行中，无需在线微调。通过利用模拟到真实（sim-to-real）技术，包括执行延迟、动态多样性以及平滑性正则化，该方法实现了稳定、低振荡的控制响应，性能与最先进的ArduPlane PID控制器相当。

ABSTRACT

Attitude control of fixed-wing unmanned aerial vehicles (UAVs) is a difficult control problem in part due to uncertain nonlinear dynamics, actuator constraints, and coupled longitudinal and lateral motions. Current state-of-the-art autopilots are based on linear control and are thus limited in their effectiveness and performance. Deep reinforcement learning (DRL) is a machine learning method to automatically discover optimal control laws through interaction with the controlled system, which can handle complex nonlinear dynamics. We show in this paper that DRL can successfully learn to perform attitude control of a fixed-wing UAV operating directly on the original nonlinear dynamics, requiring as little as three minutes of flight data. We initially train our model in a simulation environment and then deploy the learned controller on the UAV in flight tests, demonstrating comparable performance to the state-of-the-art ArduPlane proportional-integral-derivative (PID) attitude controller with no further online learning required. Learning with significant actuation delay and diversified simulated dynamics were found to be crucial for successful transfer to control of the real UAV. In addition to a qualitative comparison with the ArduPlane autopilot, we present a quantitative assessment based on linear analysis to better understand the learning controller's behavior.

研究动机与目标

• 开发一种数据高效的深度强化学习控制器，用于固定翼无人机姿态控制，最大限度减少对大量真实世界数据的依赖。
• 通过在模拟中引入执行延迟和动态变化，增强所学策略的鲁棒性，以解决无人机控制中的模拟到真实差距问题。
• 实现在真实无人机硬件上直接部署DRL控制器，无需在线微调或重新训练。
• 在处理非线性、耦合且欠驱动的动力学系统时，实现与最先进线性PID控制器相当的性能。

提出的方法

• 控制器在高保真度仿真环境中使用Soft Actor-Critic（SAC）算法进行训练，该环境模拟了Skywalker X8固定翼无人机的非线性动力学。
• 状态表示包含一个卷积输入层，用于处理过去状态的序列，从而增强时间感知能力并改善控制平滑性。
• 训练环境引入了显著的执行延迟和多样的气动参数，以模拟现实世界中的不确定性并提高鲁棒性。
• 采用稀疏密集奖励，额外增加惩罚项以抑制激进的控制动作，并促进控制信号在时间和空间上的平滑性。
• 策略仅在仿真数据上进行训练，学习过程中不涉及任何实时交互，并直接部署到真实无人机上。
• 该方法包含模拟到真实迁移技术，如领域随机化和延迟注入，以弥合现实差距并确保实际部署的可行性。

实验结果

研究问题

• RQ1 仅在仿真数据上训练的DRL控制器是否能在真实固定翼无人机上实现稳定且高性能的姿态控制，且仅依赖极少的真实世界数据？
• RQ2 在将DRL策略从仿真迁移到真实飞行时，哪些特定的模拟到真实技术最为有效？
• RQ3 在输入表示中引入状态历史和卷积处理，对控制器性能和平滑性有何影响？
• RQ4 DRL在处理非线性、耦合的无人机动力学时，能在多大程度上超越或匹配现有成熟线性PID控制器的性能？
• RQ5 数据效率在减少对仿真模型的过拟合并提升真实世界泛化能力方面起到何种作用？

主要发现

• DRL控制器在真实飞行测试中实现了与ArduPlane PID控制器相当且稳定的性能，无需在线适应或微调。
• 控制器在仅训练10,000个时间步（约相当于3分钟真实飞行数据）后即展现出飞行能力，表明其具有极高的数据效率。
• 采用卷积输入层的基础模型在约40,000个时间步（约13分钟真实飞行）内达到收敛，其比例增益显著降低，平滑性指标比全连接基线提升50%。
• 仅使用单个过去状态（h=1）且采用全连接输入的模型无法稳定无人机，凸显了时间状态历史的重要性。
• 在训练中引入执行延迟和动态变化对成功实现模拟到真实迁移及提升鲁棒性至关重要。
• 控制器生成的控制信号和姿态响应比FC基线更平滑，表明其对系统动力学的处理更优，且振荡更少。