[论文解读] Autonomous Blimp Control using Deep Reinforcement Learning

Yu Tang Liu, Eric Price+3 more|arXiv (Cornell University)|Sep 22, 2021

Aerospace Engineering and Energy Systems参考文献 41被引用 8

一句话总结

本论文提出一种基于QR-DQN的深度强化学习（DRL）方法，用于在仿真环境中实现飞艇的自主控制，解决了非线性、时延以及浮力变化等挑战。该方法采用紧凑的状态表示，使用离散动作实现平滑控制，并通过噪声增强提升鲁棒性，在风扰动和参数不确定性下实现了稳定的轨迹跟踪。

ABSTRACT

Aerial robot solutions are becoming ubiquitous for an increasing number of tasks. Among the various types of aerial robots, blimps are very well suited to perform long-duration tasks while being energy efficient, relatively silent and safe. To address the blimp navigation and control task, in our recent work, we have developed a software-in-the-loop simulation and a PID-based controller for large blimps in the presence of wind disturbance. However, blimps have a deformable structure and their dynamics are inherently non-linear and time-delayed, often resulting in large trajectory tracking errors. Moreover, the buoyancy of a blimp is constantly changing due to changes in the ambient temperature and pressure. In the present paper, we explore a deep reinforcement learning (DRL) approach to address these issues. We train only in simulation, while keeping conditions as close as possible to the real-world scenario. We derive a compact state representation to reduce the training time and a discrete action space to enforce control smoothness. Our initial results in simulation show a significant potential of DRL in solving the blimp control task and robustness against moderate wind and parameter uncertainty. Extensive experiments are presented to study the robustness of our approach. We also openly provide the source code of our approach.

研究动机与目标

• 解决传统PID控制与非线性控制在处理飞艇非线性、时延及动态浮力变化方面的局限性。
• 通过仿真环境中的深度强化学习，开发一种样本效率高且鲁棒的控制策略，以支持长时间飞行的飞艇控制。
• 通过设计离散动作空间并在奖励函数中引入动作惩罚，提升控制的平滑性与稳定性。
• 通过训练期间的数据增强，提升对风扰和参数变化等环境不确定性的鲁棒性。
• 通过在仿真中完全训练并建模真实动力学与传感器噪声，实现对现实世界部署的可行性。

提出的方法

• 使用ROS与Gazebo的软硬件在回路（SITL）仿真，高保真度地模拟飞艇的动力学特性。
• 设计一种紧凑的状态表示，降低维度并加速训练，同时保留关键的控制信息。
• 采用离散动作空间以强制实现平滑的执行器指令，避免突兀的控制输入。
• 实施QR-DQN（分位数回归DQN）以实现稳定且高效的深度强化学习，提升价值函数逼近性能。
• 在训练过程中注入观测与动作噪声，以模拟真实世界中的传感器与执行器不确定性。
• 设计稀疏且经过形状调整的奖励函数，优先考虑到达目标点、最小化高度损失以及减少电机使用。

实验结果

研究问题

• RQ1 深度强化学习能否在仿真中有效处理大型飞艇的非线性、时延及参数可变的动力学？
• RQ2 与传统控制器相比，所提出的DRL智能体在中等风扰和浮力变化下的表现如何？
• RQ3 训练期间的噪声注入在多大程度上提升了DRL策略对现实世界不确定性的鲁棒性？
• RQ4 在高维连续控制问题中，基于惩罚的离散动作空间能否实现平滑且稳定的控制？
• RQ5 当前DRL策略在高度控制方面存在哪些局限性？对质量不平衡或风向反转的敏感性如何？

主要发现

• DRL智能体在仿真中成功完成目标点导航任务，对中等强度风扰表现出显著鲁棒性。
• 浮力降低时性能下降：当浮力降至原始值的95%时，任务完成时间显著增加；低于此阈值时，控制完全失效。
• 策略对高达100克的质量不平衡仍保持鲁棒，但更大的不平衡会损害性能，表明对质量分布敏感。
• 智能体在目标点过渡期间表现出不可接受的高海拔损失，尤其是在进入悬停模式时，表明需要改进奖励函数设计。
• 训练期间引入噪声显著提升了对观测与动作扰动的鲁棒性，增强了在真实世界条件下的泛化能力。
• 当前方法的局限性在于接近目标点时行为过于保守，且缺乏反推力或推力矢量控制，限制了复杂机动性能的提升。