[논문 리뷰] Conformal Temporal Logic Planning using Large Language Models

Jun Wang, Jiaming Tong외 3명|arXiv (Cornell University)|2023. 09. 18.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 자연어(NL)로 기술된 작업을 위한 로봇 계획을 생성하는 데 대규모 언어 모델(LLM)을 사용하면서도 자연어 기반 원자적 명제 위에 선형 시간 논리(LTL)를 활용하는 계층적 콫리형 계획 방법인 HERACLEs를 제안한다. 자동화된 작업 분해, LLM을 통한 계획 생성, 그리고 불확실성 인식형 정확도 평가를 위한 콕시멀 예측을 통합함으로써 HERACLEs는 임무 이행에 대한 확률적 보장을 보장하고, 필요에 따라 도움 요청을 동적으로 결정함으로써 이동형 조작 작업에서 이전 방법들보다 효율성과 신뢰성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper addresses planning problems for mobile robots. We consider missions that require accomplishing multiple high-level sub-tasks, expressed in natural language (NL), in a temporal and logical order. To formally define the mission, we treat these sub-tasks as atomic predicates in a Linear Temporal Logic (LTL) formula. We refer to this task specification framework as LTL-NL. Our goal is to design plans, defined as sequences of robot actions, accomplishing LTL-NL tasks. This action planning problem cannot be solved directly by existing LTL planners because of the NL nature of atomic predicates. To address it, we propose HERACLEs, a hierarchical neuro-symbolic planner that relies on a novel integration of (i) existing symbolic planners generating high-level task plans determining the order at which the NL sub-tasks should be accomplished; (ii) pre-trained Large Language Models (LLMs) to design sequences of robot actions based on these task plans; and (iii) conformal prediction acting as a formal interface between (i) and (ii) and managing uncertainties due to LLM imperfections. We show, both theoretically and empirically, that HERACLEs can achieve user-defined mission success rates. Finally, we provide comparative experiments demonstrating that HERACLEs outperforms LLM-based planners that require the mission to be defined solely using NL. Additionally, we present examples demonstrating that our approach enhances user-friendliness compared to conventional symbolic approaches.

연구 동기 및 목표

• 자연어(NL)로 복잡한 로봇 임무를 기술하는 도전 과제를 해결하면서도 공식적인 정확도 보장을 유지한다.
• 저수준 시스템 상태 기반 술어에 의존하는 기존 LTL 계획자들이 겪는 한계를 극복한다. 이러한 술어들은 수작업 작업이 필요하고 공식의 복잡도를 증가시킨다.
• LLM이 생성한 계획의 정확도를 자연어로 기술된 하위 작업에 대해 불확실성 정량화와 함께 추론할 수 있는 계획 프레임워크를 개발한다.
• 계획을 계속 진행할지 또는 도움을 요청할지에 대한 동적 의사결정을 가능하게 하여 복잡하거나 모호한 작업 시나리오에서의 내구성을 향상시킨다.
• 사용자 간섭 최소화를 위해 신뢰도 인식 기반 계획을 통해 임무 이행에 대한 이론적 확률적 보장을 제공한다.

제안 방법

• 고수준 자연어 하위 작업(예: '테이블에 물을 배달하라')이 완료되었을 때 참이 되는 원자적 명제 위에 LTL 작업을 정의하며, 저수준 시스템 상태가 아닌 자연어 기반 원자적 명제를 사용한다.
• 부호 이론과 사전 작업 분해 알고리즘을 활용해 임무 진행을 촉진하는 다음 자연어 기반 하위 작업을 결정한다.
• 대규모 언어 모델(LLM)을 사용해 선택된 자연어 하위 작업에 대한 로봇 계획을 생성함으로써 복잡한 동작의 자연어 기반 정렬을 가능하게 한다.
• 콕시멀 예측(CP)을 적용해 사용자가 지정한 확률(예: 95%)로 참값 계획을 포함하는 후보 계획 집합을 구성함으로써 불확실성 인식 기반 의사결정을 가능하게 한다.
• LLM 기반 계획 생성과 CP를 통합해 신뢰도를 평가한다: 예측 집합이 너무 크거나 유효한 계획을 포함하지 않으면, LTL 계획자 또는 인간 운영자에게 도움을 요청한다.
• 표준 저수준 제어기를 사용해 최종 계획을 실행하며, 전체 파ip라인은 확률적 임무 이행 보장을 보장한다.

Figure 1 : Graphical depiction of a semantic environment with unknown geometric structure.

실험 결과

연구 질문

• RQ1 자연어 기반 원자적 명제 위에 정의된 LTL 공식은 기존 저수준 시스템 상태 기반 술어에 비해 더 짧고 효율적인가?
• RQ2 LLM을 자연어로 기술된 작업을 위한 로봇 계획에 효과적이고 안전하게 통합할 수 있는가? 이는 정확도를 유지하고 환영을 방지하는 데 초점이 맞춰져야 한다.
• RQ3 콕시멀 예측을 사용해 LLM이 생성한 로봇 계획의 불확실성을 정량화하고, 동적 보조 요청을 이끌 수 있는가?
• RQ4 다양한 콕시멀 예측 알고리즘(예: RAPS 대 비잔티노 CP)이 예측 집합 크기, 런타임, 임무 성공률에 어떤 영향을 미치는가?
• RQ5 제안된 HERACLEs 프레임워크는 기존의 LTL 및 자연어 기반 계획자들과 비교해 계산 효율성, 정확도, 모호성 상황에서의 내구성 면에서 어떻게 다른가?

주요 결과

• 자연어 기반 원자적 술어 위에 정의된 LTL 공식은 저수준 시스템 상태 기반 공식보다 현저히 짧다: 두 배달 임무의 경우, 자연어 기반 공식은 4개 상태의 DFA를 생성하지만, 시스템 상태 기반 버전은 25개 상태와 225개 간선을 필요로 한다.
• RAPS를 사용한 콕시멀 예측에서 HERACLEs는 단일 예측 집합을 사용할 때 100%의 임무 이행 성공률을 달성했으며, 95% 목표를 99% 신뢰도(δ = 0.01)로 초월했다.
• 비잔티노 CP 알고리즘이 RAPS보다 평균 예측 집합 생성 시간이 짧았지만(1.26×10⁻⁶초 대비 3.35×10⁻⁵초), RAPS는 더 작은 예측 집합을 생성하여 보조 요청의 필요성을 줄였다.
• 사례 연구에서 HERACLEs는 도로가 막힌 목표물(예: 차단된 코카인 #2)을 성공적으로 탐지하고 LTL 계획자에게 도움을 요청하여 임무 진행을 복구했다.
• 모호성이 발생했을 경우(예: 물과 코카인 모두 '음료'로 간주됨), 시스템은 CP를 통해 불확실성을 정확히 식별하고 인간의 입력을 요청하여 성공적으로 해결했다.
• 복잡한 시나리오에서도 시스템은 내구성이 있었으며, 비잔티노 CP를 사용한 경우 97.2%의 계획이 LTL 명세를 충족했고, RAPS를 사용한 경우 100%의 계획이 충족하여 이론적 보장을 확인했다.

Figure 2 : DFA corresponding to $\phi=\Diamond\pi_{2}\wedge(\neg\pi_{1}{\mathcal{U}}\pi_{2})$ . $\pi_{1}$ is “Deliver the water bottle to ${\mathbf{x}}_{3}$ ” and $\pi_{2}$ is “Deliver a Coke to ${\mathbf{x}}_{3}$ ”. The red dashed edges correspond to an infeasible DFA transition.