[论文解读] Deep Reinforcement Learning for Safe Landing Site Selection with Concurrent Consideration of Divert Maneuvers

Keidai Iiyama, Kento Tomita+3 more|arXiv (Cornell University)|Feb 24, 2021

Air Traffic Management and Optimization参考文献 34被引用 16

一句话总结

本文提出了一种深度强化学习框架，通过将障碍物检测与规避过程建模为部分可观察马尔可夫决策过程（POMDP），联合优化安全着陆点选择与飞行中规避机动规划。智能体使用自编码器解析地形安全地图，并实时动态更新目标着陆点及ZEM-ZEV控制增益，实现在超过80%初始区域不安全的高危环境中94.8%的着陆成功率。

ABSTRACT

This research proposes a new integrated framework for identifying safe landing locations and planning in-flight divert maneuvers. The state-of-the-art algorithms for landing zone selection utilize local terrain features such as slopes and roughness to judge the safety and priority of the landing point. However, when there are additional chances of observation and diverting in the future, these algorithms are not able to evaluate the safety of the decision itself to target the selected landing point considering the overall descent trajectory. In response to this challenge, we propose a reinforcement learning framework that optimizes a landing site selection strategy concurrently with a guidance and control strategy to the target landing site. The trained agent could evaluate and select landing sites with explicit consideration of the terrain features, quality of future observations, and control to achieve a safe and efficient landing trajectory at a system-level. The proposed framework was able to achieve 94.8 $\%$ of successful landing in highly challenging landing sites where over 80$\%$ of the area around the initial target lading point is hazardous, by effectively updating the target landing site and feedback control gain during descent.

研究动机与目标

• 解决现有着陆点选择算法将目标选择与控制规划视为解耦过程的局限性。
• 在下降过程中考虑未来观测质量、控制可行性与着陆点安全性的动态耦合关系。
• 开发一个统一框架，同时优化着陆点选择与制导控制，以提升系统级安全性和效率。
• 通过从下降过程中的序列观测中学习，实现对地形可观测性与不确定性的自适应响应。
• 克服单次观测策略在视场受限或高不确定性条件下失效的缺点，通过引入记忆与反馈控制自适应的多步决策机制。

提出的方法

• 将障碍物检测与规避（HDA）过程建模为部分可观察马尔可夫决策过程（POMDP），以捕捉地形感知与控制动力学中的不确定性。
• 使用带有自编码器的深度神经网络，将LIDAR获取的地形安全地图（如坡度、粗糙度）转化为紧凑的状态表征。
• 设计策略网络，基于当前状态与观测历史，输出随时间变化的ZEM-ZEV反馈控制增益（位置与速度误差增益）。
• 在高保真度仿真环境中使用深度强化学习（PPO算法）训练智能体，该环境模拟了下降动力学、传感器限制与地形障碍。
• 通过在每次新观测后重新规划目标着陆点并调整控制参数，实现在线自适应，基于更新后的地形评估进行决策。
• 对比无记忆智能体与基于LSTM的记忆型智能体、固定增益ZEM-ZEV控制器以及单次规避基线策略的性能，以评估鲁棒性与适应性。

实验结果

研究问题

• RQ1 如何联合优化着陆点选择与飞行中规避机动规划，以在高度危险地形中提升安全性？
• RQ2 在高地形障碍与有限可观测性条件下，深度强化学习智能体相较于传统单次观测或固定控制策略，在着陆成功率方面有多大优势？
• RQ3 在具有序列观测的部分可观察环境中，智能体策略中引入记忆（通过LSTM）对性能有何影响？
• RQ4 当智能体在下降过程中动态改变目标着陆点时，燃油效率、着陆精度与安全性之间存在何种权衡？
• RQ5 智能体实时自适应调整控制增益的能力如何影响其收敛至最终目标及触地时的最终速度？

主要发现

• 无记忆深度强化学习智能体在初始目标周围超过80%地形不安全的高危环境中实现了94.8%的着陆成功率。
• 基于记忆的智能体实现了88.3%的成功率，表明记忆可提升部分可观察环境下的鲁棒性，但在本特定场景中，无记忆智能体表现更优。
• 与固定增益控制器相比，该智能体显著降低了最终着陆误差（2.492 m vs. 3.786 m）与最终速度（0.637 m/s vs. 1.189 m/s），展现出更高的精度与软着陆性能。
• 该智能体平均消耗了69.88%的可用推进剂，高于基于记忆的智能体（63.70%）与固定增益控制器（67.84%），表明频繁更新目标导致了安全与燃油效率之间的权衡。
• 该智能体通过在下降过程中动态改变目标着陆点与控制增益，展现出自适应行为，如轨迹与控制历史图所示，推力与速度调整能响应地形不确定性。
• 单次规避策略表现较差（89.7%成功率），且对初始观测质量高度敏感，尤其在视场或斜视角不佳时，凸显了单次观测决策的局限性。