[论文解读] 2-Level Reinforcement Learning for Ships on Inland Waterways: Path Planning and Following

Martin Waltz, Niklas Paulig+1 more|arXiv (Cornell University)|Jul 25, 2023

Maritime Navigation and SafetyEngineering被引用 3

一句话总结

本文提出了一种用于内河航道自主水面航行器（ASV）的两级深度强化学习（DRL）框架，结合高层局部路径规划（LPP）智能体与低层路径跟踪（PF）智能体，实现安全、动态的防撞与精确轨迹跟踪。LPP智能体相比最先进的人工势场方法，将最小船舶距离提高了65%；PF智能体相比PID控制，将平均横移误差降低39%，控制能耗也更低，该方法基于莱茵河下游的真实AIS数据进行了验证。

ABSTRACT

This paper proposes a realistic modularized framework for controlling autonomous surface vehicles (ASVs) on inland waterways (IWs) based on deep reinforcement learning (DRL). The framework improves operational safety and comprises two levels: a high-level local path planning (LPP) unit and a low-level path following (PF) unit, each consisting of a DRL agent. The LPP agent is responsible for planning a path under consideration of dynamic vessels, closing a gap in the current research landscape. In addition, the LPP agent adequately considers traffic rules and the geometry of the waterway. We thereby introduce a novel application of a spatial-temporal recurrent neural network architecture to continuous action spaces. The LPP agent outperforms a state-of-the-art artificial potential field (APF) method by increasing the minimum distance to other vessels by 65% on average. The PF agent performs low-level actuator control while accounting for shallow water influences and the environmental forces winds, waves, and currents. Compared with a proportional-integral-derivative (PID) controller, the PF agent yields only 61% of the mean cross-track error (MCTE) while significantly reducing control effort (CE) in terms of the required absolute rudder angle. Lastly, both agents are jointly validated in simulation, employing the lower Elbe in northern Germany as an example case and using real automatic identification system (AIS) trajectories to model the behavior of other ships.

研究动机与目标

• 为解决现有DRL方法在内河航道（IWs）中仅关注静态障碍物或开阔水域，缺乏对动态防撞能力的研究，填补该领域空白。
• 开发一种模块化、两级DRL架构，将局部路径规划（LPP）与低层路径跟踪（PF）分离，实现可扩展且安全的导航。
• 将交通规则、航道几何形状、环境作用力（海流、风、浪）以及浅水效应等现实约束条件整合进控制框架。
• 利用莱茵河下游真实自动识别系统（AIS）轨迹数据，模拟真实会遇场景，对系统进行验证。
• 与传统方法（如人工势场法和PID控制）相比，证明在防撞性能和轨迹跟踪精度方面具有显著优势。

提出的方法

• 该框架采用两级DRL架构：高层LPP智能体使用时空循环神经网络实现连续动作空间控制，低层PF智能体负责精确的执行器级控制。
• LPP智能体实时规划路径，综合考虑动态目标船舶、航道几何形状与交通规则，采用自定义奖励函数，对碰撞与触底行为施加惩罚。
• PF智能体通过DRL智能体控制舵角，以最小化横移误差，同时考虑海流、风力与波浪等环境扰动。
• 两个智能体均在基于莱茵河下游的仿真环境中端到端训练，利用真实AIS数据建模目标船舶行为。
• 时空架构使LPP智能体能够处理序列化空间观测（如船舶位置、水深）以制定合理的航向决策。
• 系统通过真实AIS轨迹进行评估，并在多种会遇场景（包括对遇与超船）中进行验证。

实验结果

研究问题

• RQ1 基于DRL的两级架构在复杂内河航道环境中，如何提升ASV的动态防撞能力？
• RQ2 所提出的LPP智能体在与动态船舶保持安全距离方面，相比传统人工势场（APF）方法，性能提升程度如何？
• RQ3 在环境扰动条件下，基于DRL的PF智能体在轨迹跟踪精度与控制能耗方面，相比传统PID控制表现如何？
• RQ4 当基于模拟数据与真实AIS轨迹训练时，该两级DRL框架是否具备在真实场景中泛化的能力？
• RQ5 交通规则、航道几何形状与环境作用力如何影响自主导航系统的性能与安全性？

主要发现

• 与最先进的APF方法相比，LPP智能体平均将与其他船舶的最小距离提高了65%，显著增强了防撞能力。
• PF智能体将平均横移误差（MCTE）降低至PID控制器的61%，证明了其更优的路径跟踪精度。
• 基于DRL的PF智能体显著降低了所需舵角的绝对值，表明控制能耗更低，燃油效率更高，控制更平滑。
• 两级系统成功处理了复杂真实会遇场景（如对遇与超船），基于真实AIS数据，展现出强大的鲁棒性与适应性。
• 该框架有效将海流、风力、波浪等环境作用力以及浅水效应整合进控制策略，提升了系统的真实感与安全性。
• 系统在不同航速与交通密度下均保持高性能，证实了其在多样化运行条件下的泛化能力。