[论文解读] Large Language Model-based Decision-making for COLREGs and the Control of Autonomous Surface Vehicles

Klinsmann Agyei, Pouria Sarhadi+1 more|arXiv (Cornell University)|Nov 25, 2024

Risk and Safety AnalysisDecision Sciences被引用 3

一句话总结

本论文提出首个基于大语言模型（LLM）的自主水面航行器（ASV）决策框架，通过可解释、风险感知的推理实现对《国际海上避碰规则》（COLREGs）的实时合规。通过将在线碰撞风险评估与LLM生成的、人类可理解的决策相结合，该系统在动态海上场景中实现了COLREGs合规的机动操作——如正确的让路或直航行动——同时保持了精确的航路点跟踪。

ABSTRACT

In the field of autonomous surface vehicles (ASVs), devising decision-making and obstacle avoidance solutions that address maritime COLREGs (Collision Regulations), primarily defined for human operators, has long been a pressing challenge. Recent advancements in explainable Artificial Intelligence (AI) and machine learning have shown promise in enabling human-like decision-making. Notably, significant developments have occurred in the application of Large Language Models (LLMs) to the decision-making of complex systems, such as self-driving cars. The textual and somewhat ambiguous nature of COLREGs (from an algorithmic perspective), however, poses challenges that align well with the capabilities of LLMs, suggesting that LLMs may become increasingly suitable for this application soon. This paper presents and demonstrates the first application of LLM-based decision-making and control for ASVs. The proposed method establishes a high-level decision-maker that uses online collision risk indices and key measurements to make decisions for safe manoeuvres. A tailored design and runtime structure is developed to support training and real-time action generation on a realistic ASV model. Local planning and control algorithms are integrated to execute the commands for waypoint following and collision avoidance at a lower level. To the authors' knowledge, this study represents the first attempt to apply explainable AI to the dynamic control problem of maritime systems recognising the COLREGs rules, opening new avenues for research in this challenging area. Results obtained across multiple test scenarios demonstrate the system's ability to maintain online COLREGs compliance, accurate waypoint tracking, and feasible control, while providing human-interpretable reasoning for each decision.

研究动机与目标

• 解决自主水面航行器（ASVs）在自然语言表述的《国际海上避碰规则》（COLREGs）下实现合规的挑战，这些规则需要类人推理能力。
• 通过引入基于大语言模型（LLMs）的可解释人工智能，克服传统规则系统局限，实现实时解读与应用COLREGs规则。
• 开发一种混合架构，结合高层级LLM决策与低层本地规划及控制，实现安全、合规且可追溯的ASV导航。
• 通过生成人类可读的决策理由，提升自主海上系统中透明度与可信度。
• 证明LLMs在动态、复杂海上会遇场景（包括追越、交叉与对遇情况）中的可行性与有效性。

提出的方法

• 采用高层级LLM决策模块，实时处理包括距离、方位、CPA（最接近接近距离）、T_CPA（至CPA时间）以及在线碰撞风险指数在内的输入，以评估会遇情境。
• 设计提示工程框架，通过上下文参数与规则结构化LLM输入，实现对COLREGs规则（如规则15（让路）和规则17（直航船义务））的准确解读。
• 将LLM输出的动作与低层控制系统集成，利用本地规划算法执行航路点跟踪与碰撞规避。
• 采用非线性ASV模型，包含真实动态特性，如输入饱和、外部扰动及非完整约束，以模拟真实世界海上行为。
• 实现运行时架构，支持训练与实时推理，确保决策的一致性与响应速度。
• 通过生成自然语言理由，应用可解释AI原则，明确引用相关COLREGs规则及关键参数（如风险值、D_CPA、T_CPA），实现每项机动的可追溯性。

实验结果

研究问题

• RQ1 大语言模型（LLMs）能否在ASV的实时海上决策中准确解读并应用基于自然语言的COLREGs规则？
• RQ2 LLM驱动的决策如何与低层控制系统集成，以在动态会遇场景中同时确保安全与COLREGs合规？
• RQ3 LLMs在多大程度上能提供人类可理解、可追溯的推理过程，从而增强自主导航决策的透明度与可信度？
• RQ4 风险感知的LLM决策能否防止振荡或不一致的机动行为，同时在各类会遇类型中保持一致的COLREGs合规性？
• RQ5 将在线碰撞风险评估与LLM推理相结合，如何提升复杂海上环境中态势感知与决策质量？

主要发现

• LLM驱动的系统成功识别出会遇情境（如追越、交叉），并根据相对方位与风险参数正确应用COLREGs规则，如规则15（让路）或规则17（直航义务）。
• 在目标位于右舷侧（相对航向-150.09°）的交叉会遇情境中，系统正确识别本船为让路船，因高风险、低D_CPA（12.4m）及关键T_CPA（3.2s）而决定‘让路，右转’。
• 在目标位于左舷侧（相对航向125.08°）的交叉直航情境中，系统维持直航行为，风险值适中（0.78），T_CPA为53.27秒，D_CPA为296.21米，正确理由为‘存在风险但可控，因目标船位于左舷，维持直航义务’。
• 系统在所有测试场景中表现出一致、无振荡的行为，通过风险感知决策与规则一致性避免了异常机动。
• 将在线风险指数（如基于CPA的风险）与LLM推理相结合，使系统在安全、合规与任务目标之间取得平衡，实现可行且可预测的控制动作。
• 该框架生成了完全可解释的决策日志，每项机动均附有自然语言理由，明确引用具体COLREGs规则与关键参数，显著提升透明度与可审计性。