[논문 리뷰] Large Language Model-based Decision-making for COLREGs and the Control of Autonomous Surface Vehicles

Klinsmann Agyei, Pouria Sarhadi외 1명|arXiv (Cornell University)|2024. 11. 25.

Risk and Safety AnalysisDecision Sciences인용 수 3

한 줄 요약

이 논문은 실시간으로 COLREGs 규칙을 준수하는 LLM 기반의 의사결정 프레임워크를 제안하며, 설명 가능하고 위험 인지 기반의 추론을 통해 자율 항로를 운항하는 표면함선(ASV)을 위한 첫 번째 시도이다. 실시간으로 수집된 충돌 위험 평가와 LLM이 생성한 인간이 이해할 수 있는 의사결정을 통합함으로써, 충돌 방지를 위한 적절한 양보 또는 정지 행동과 같은 COLREGs 준수 조치를 취하면서도, 동적 해상 환경에서 정확한 웨이포인트 추적을 유지한다.

ABSTRACT

In the field of autonomous surface vehicles (ASVs), devising decision-making and obstacle avoidance solutions that address maritime COLREGs (Collision Regulations), primarily defined for human operators, has long been a pressing challenge. Recent advancements in explainable Artificial Intelligence (AI) and machine learning have shown promise in enabling human-like decision-making. Notably, significant developments have occurred in the application of Large Language Models (LLMs) to the decision-making of complex systems, such as self-driving cars. The textual and somewhat ambiguous nature of COLREGs (from an algorithmic perspective), however, poses challenges that align well with the capabilities of LLMs, suggesting that LLMs may become increasingly suitable for this application soon. This paper presents and demonstrates the first application of LLM-based decision-making and control for ASVs. The proposed method establishes a high-level decision-maker that uses online collision risk indices and key measurements to make decisions for safe manoeuvres. A tailored design and runtime structure is developed to support training and real-time action generation on a realistic ASV model. Local planning and control algorithms are integrated to execute the commands for waypoint following and collision avoidance at a lower level. To the authors' knowledge, this study represents the first attempt to apply explainable AI to the dynamic control problem of maritime systems recognising the COLREGs rules, opening new avenues for research in this challenging area. Results obtained across multiple test scenarios demonstrate the system's ability to maintain online COLREGs compliance, accurate waypoint tracking, and feasible control, while providing human-interpretable reasoning for each decision.

연구 동기 및 목표

• 자율 항로를 운항하는 표면함선(ASV)이 자연어로 작성된 국제해상충돌방지규칙(COLREGs)을 준수할 수 있도록 하는 도전 과제를 해결한다. COLREGs 규칙은 자연어로 작성되어 있으며 인간과 유사한 추론이 필요하다.
• 기존의 규칙 기반 시스템의 한계를 극복하기 위해 대규모 언어모델(LLM)를 활용한 설명 가능한 인공지능을 도입하여, 실시간으로 COLREGs 규칙을 해석하고 적용한다.
• 고수준의 LLM 기반 의사결정과 저수준의 현지 계획 및 제어를 융합한 하이브리드 아키텍처를 개발하여 안전하고, 규칙 준수하며 추적 가능한 ASV 항로 운항을 실현한다.
• 각각의 조치 결정에 대해 인간이 읽을 수 있는 근거를 생성함으로써 자율 해양 시스템의 투명성과 신뢰도를 향상시킨다.
• 다양한 충돌 상황(예: 추월, 만남, 정면 만남)을 포함한 복잡한 해상 환경에서 LLM의 실시간 적용 가능성을 입증하고, 그 효과성을 입증한다.

제안 방법

• 실시간 입력(거리, 방위각, CPA(가장 가까운 접근점), T_CPA(가장 가까운 접근까지의 시간), 온라인 충돌 위험 지수 등)를 처리하는 고수준 LLM 기반 의사결정자 활용. 이는 충돌 상황을 평가하는 데 사용된다.
• LLM 입력를 구조화하기 위한 프롬프트 엔지니어링 프레임워크 개발. 맥락적 파rameter와 규칙를 포함하여, 예를 들어 규칙 15(양보의무) 및 규칙 17(정지선 선박의 의무)와 같은 COLREGs 규칙을 정확히 해석할 수 있도록 한다.
• LLM의 조치 출력를 저수준 제어 시스템과 통합하여, 현지 계획 알고리즘을 사용해 웨이포인트 추적 및 충돌 회피를 수행한다.
• 입력 포화, 외란, 비홀로노믹 제약 조건을 포함한 현실적인 동역학을 반영한 비선형 ASV 모델을 사용하여 실제 해양 환경의 행동을 시뮬레이션한다.
• 학습 및 실시간 추론을 모두 지원하는 런타임 아키텍처를 구현하여 의사결정의 반응성과 일관성을 확보한다.
• 설명 가능한 인공지능 원칙을 적용하여, 각 조치에 대해 자연어로 작성된 근거를 생성하며, 관련 COLREGs 규칙과 위험 값, D_CPA, T_CPA와 같은 핵심 파rameter를 명시적으로 참조한다.

실험 결과

연구 질문

• RQ1 대규모 언어모델(LLM)은 자율 항로를 운항하는 표면함선(ASV)의 실시간 해상 의사결정에서 자연어 기반의 COLREGs 규칙을 정확하게 해석하고 적용할 수 있는가?
• RQ2 LLM 기반 의사결정은 저수준 제어 시스템과 어떻게 통합되어야 하며, 다양한 충돌 상황에서 안전성과 COLREGs 준수를 동시에 확보할 수 있는가?
• RQ3 LLM은 자율 항로 운항 결정에 대해 인간이 이해할 수 있고 추적 가능한 추론을 어느 정도 제공할 수 있는가? 이는 투명성과 신뢰도 향상에 기여하는가?
• RQ4 위험 인지 기반의 LLM 의사결정은 진동하거나 일관성 없는 조치를 방지할 수 있는가? 다양한 충돌 유형에서 일관된 COLREGs 준수를 유지할 수 있는가?
• RQ5 온라인 충돌 위험 평가와 LLM 추론을 통합하면, 복잡한 해양 환경에서 상황 인식 능력과 의사결정 품질이 어떻게 향상되는가?

주요 결과

• LLM 기반 시스템은 충돌 상황(예: 추월, 만남)을 정확히 분류하고, 상대 방위각과 위험 파rameter에 기반해 적절한 COLREGs 규칙을 적용했다. 예를 들어, 양보의무를 지녀야 하는 경우 규칙 15를, 정지선 선박의 의무를 지녀야 하는 경우 규칙 17를 적용했다.
• 타겟이 우측(스타브드)에 있는 만남 상황에서(상대 방위각 -150.09°), 시스템은 자신의 선박이 양보의무를 지닌다는 것을 정확히 식별하고, 높은 위험도, 낮은 D_CPA(12.4m), 임계적인 T_CPA(3.2초)로 인해 '양보, 우측으로 회전' 조치를 내렸다.
• 타겟이 좌측(포트)에 있는 만남 정지선 상황에서(상대 방위각 125.08°), 시스템은 중간 수준의 위험도(0.78), T_CPA 53.27초, D_CPA 296.21m를 기반으로 정지선 행동을 유지했으며, '위험 존재하나 관리 가능, 타선박이 좌측에 있으므로 정지선 의무를 유지한다.' 라는 자연어 근거로 이를 정당화했다.
• 모든 테스트 상황에서 일관되고 진동 없는 행동을 보였으며, 위험 인지 기반 의사결정과 규칙 기반 일관성에 기반해 기민한 조작을 피했다.
• 온라인 위험 지수(예: CPA 기반 위험)와 LLM 추론을 통합함으로써, 안전성, 규칙 준수, 임무 목표 간 균형을 확보하여 실현 가능하고 예측 가능한 제어 조치를 도출했다.
• 프레임워크는 완전히 설명 가능한 의사결정 로그를 생성했으며, 각 조치는 특정 COLREGs 규칙과 핵심 파rameter(위험 값, D_CPA, T_CPA 등)를 참조하는 자연어 근거와 함께 제공되어 투명성과 감사 가능성 향상에 기여했다.