[논문 리뷰] Optimal Scene Graph Planning with Large Language Model Guidance

Zhirui Dai, Arash Asgharivaskasi외 5명|arXiv (Cornell University)|2023. 09. 17.

Constraint Satisfaction and Optimization인용 수 4

한 줄 요약

이 논문은 자연어 임무를 선형 시간 논리(LTL) 공식으로 번역하고 시나리오 그래프 위에서 효율적인 계획을 이끌어내기 위해 대규모 언어 모델(LLM)을 사용하는 계층적이고 최적의 작업 계획 프레임워크를 제안한다. LLM이 생성한 의미적 가이던스와 증명 가능하게 일致하는 LTL 휴리스틱을 결합한 다중휴리스틱 A* 계획법(AMRA*)을 통해, 가비슨 데이터셋과 같은 복잡한 다층 환경에서 기존 기준보다 훨씬 적은 노드 전개 수와 계획 시간으로 최적의 경로 계산이 가능해졌다.

ABSTRACT

Recent advances in metric, semantic, and topological mapping have equipped autonomous robots with semantic concept grounding capabilities to interpret natural language tasks. This work aims to leverage these new capabilities with an efficient task planning algorithm for hierarchical metric-semantic models. We consider a scene graph representation of the environment and utilize a large language model (LLM) to convert a natural language task into a linear temporal logic (LTL) automaton. Our main contribution is to enable optimal hierarchical LTL planning with LLM guidance over scene graphs. To achieve efficiency, we construct a hierarchical planning domain that captures the attributes and connectivity of the scene graph and the task automaton, and provide semantic guidance via an LLM heuristic function. To guarantee optimality, we design an LTL heuristic function that is provably consistent and supplements the potentially inadmissible LLM guidance in multi-heuristic planning. We demonstrate efficient planning of complex natural language tasks in scene graphs of virtualized real environments.

연구 동기 및 목표

• 자연어 지시어를 사용한 계층적 시나리오 그래프에서 자율 로봇을 위한 효율적이고 최적의 작업 계획을 가능하게 하기 위해.
• 측정-의미적 환경에서 자연어 작업의 기호 기반 및 의미적 해석 문제를 해결하기 위해.
• 계획의 최적성을 유지하면서 LLM을 사용해 LTL 번역과 휴리스틱 가이던스를 모두 통합하기 위해.
• 시나리오 그래프의 속성과 연결성을 반영한 계층적 계획 도메인을 설계하여 확장 가능한 작업 실행을 가능하게 하기 위해.
• LLM 가이던스를 통한 다중휴리스틱 계획이 최적성 손실 없이 타당한 경로 생성을 가속화하는지 검증하기 위해.

제안 방법

• 대규모 언어 모델(LLM)을 사용해 속성 계층 프롬프팅과 안전한 문법 검증을 통해 자연어 작업을 선형 시간 논리(LTL) 공식으로 번역한다.
• 사용자 작업에 대한 시나리오 그래프 요소의 관련성에 기반해 의미적 가이던스를 제공하는 LLM 휴리스틱 함수를 생성한다.
• 다중휴리스틱 A* 계획에서 최적성을 보장하기 위해 증명 가능하게 타당한 LTL 휴리스틱을 설계한다.
• 방, 물체, 점유율, 층 수준의 속성과 연결성을 포함한 시나리오 그래프에서 계층적 계획 도메인을 구성한다.
• 모든 LLM 및 LTL 휴리스틱을 통합한 anytime 다중 해상도 다중휴리스틱 A*(AMRA*) 알고리즘을 통해 검색을 가속화하면서도 최적 해에 수렴함을 보장한다.
• LLM 기반 LTL 번역 및 오토마타 생성에는 GPT-4를, LTL에서 오토마타로의 변환에는 Spot을 사용한다.

Figure 1 : Planning a natural language mission, $\mu:\text{``Reach the oven in the kitchen''}$ , in a scene graph $\mathcal{G}$ of the Gibson environment Benevolence [ 36 ] with object, room, and floor attributes. The terms “oven” and “kitchen” in $\mu$ belong to the object and room attributes of th

실험 결과

연구 질문

• RQ1 LLM는 자연어 작업을 시나리오 그래프 속성에 효과적으로 기반화하고, 올바르고 검증 가능한 LTL 공식을 생성할 수 있는가?
• RQ2 LLM가 생성한 의미적 가이던스를 형식적 논리 휴리스틱과 통합하여 최적성 손실 없이 계획을 가속화할 수 있는가?
• RQ3 계층적 시나리오 그래프의 다양한 수준에서 다중 수준의 LLM 휴리스틱 가이던스가 복잡한 다층 환경에서 계획 효율성을 향상시키는가?
• RQ4 LLM 및 LTL 휴리스틱의 조합이 기준 대비 노드 전개 수와 계획 시간을 얼마나 줄이는가?
• RQ5 이 방법은 실제 3차원 시나리오 그래프에서 첫 번째 경로의 타당성과 최적 경로 수렴을 동시에 달성할 수 있는가?

주요 결과

• 모든 계층 수준에 LLM 휴리스틱을 적용한 ALL 구성은 Benevolence 환경에서 평균 0.0007초의 시간에 첫 번째 타당 경로를 계산했으며, A*(1.1202초) 및 NO-LLM(3.3260초)보다 빠르게 작동했다.
• 동일한 환경에서 ALL 설정은 평균 8.9062초의 시간에 최적 경로 계산을 완료했으며, A*(11.7594초) 및 NO-LLM(24.2516초)보다 뛰어난 성능을 보였다.
• ALL 설정에서 첫 번째 경로의 상대 비용은 1.3763로, 속도와 해의 품질 사이의 균형을 잘 유지하고 있음을 시사했다.
• 여러 수준에서 LLM 휴리스틱을 적용했을 경우 초기 계획 반복에서 노드 전개 수가 최대 90% 감소했으며, 이는 효과적인 가이던스를 의미한다.
• 모든 시나리오에서 첫 번째 경로와 최적 경로 간의 상대 비용 비율이 1.03~1.04로 유지되어, 높은 품질의 첫 번째 해를 제공함을 보여주었다.
• 물체 및 방 수준에서 LLM 휴리스틱을 적용한 OBJ, ROOM 설정은 NO-LLM 기준 대비 노드 전개 수를 50% 이상 감소시켜 강력한 확장성 이점을 입증했다.

Figure 2 : Natural language to LTL translation. (a) Attribute hierarchy $\bar{\mathcal{G}}$ . The unique IDs and the room connections are shown in parenthesis and inside red brackets, respectively. (b) Unique ID extraction from natural language mission $\mu$ . (c) LTL formula generation from natural