[논문 리뷰] A Framework for Neurosymbolic Robot Action Planning using Large Language Models

Alessio Capitanelli, Fulvio Mastrogiovanni|arXiv (Cornell University)|2023. 03. 01.

Machine Learning in Materials ScienceMaterials Science참고 문헌 28인용 수 3

한 줄 요약

이 논문은 GPT-3를 활용해 PDDL 준수 계획을 단계별로 생성함으로써 동시 계획 및 실행을 가능하게 하는 신경기호적 프레임워크 Teriyaki를 제안한다. 기존 계획기반 방법에 비해 95.5%의 문제 해결 정확도를 달성하고, 계획 길이는 최대 13.5% 짧으며, 평균 계획 대기 시간은 61.2% 감소시켰다.

ABSTRACT

Symbolic task planning is a widely used approach to enforce robot autonomy due to its ease of understanding and deployment in robot architectures. However, techniques for symbolic task planning are difficult to scale in real-world, human-robot collaboration scenarios because of the poor performance in complex planning domains or when frequent re-planning is needed. We present a framework, Teriyaki, specifically aimed at bridging the gap between symbolic task planning and machine learning approaches. The rationale is training Large Language Models (LLMs), namely GPT-3, into a neurosymbolic task planner compatible with the Planning Domain Definition Language (PDDL), and then leveraging its generative capabilities to overcome a number of limitations inherent to symbolic task planners. Potential benefits include (i) a better scalability in so far as the planning domain complexity increases, since LLMs' response time linearly scales with the combined length of the input and the output, and (ii) the ability to synthesize a plan action-by-action instead of end-to-end, making each action available for execution as soon as it is generated instead of waiting for the whole plan to be available, which in turn enables concurrent planning and execution. Recently, significant efforts have been devoted by the research community to evaluate the cognitive capabilities of LLMs, with alternate successes. Instead, with Teriyaki we aim to provide an overall planning performance comparable to traditional planners in specific planning domains, while leveraging LLMs capabilities to build a look-ahead predictive planning model. Preliminary results in selected domains show that our method can: (i) solve 95.5% of problems in a test data set of 1,000 samples; (ii) produce plans up to 13.5% shorter than a traditional symbolic planner; (iii) reduce average overall waiting times for a plan availability by up to 61.4%

연구 동기 및 목표

• 동적이고 인간-로봇 협업 환경에서 기존 기호적 작업 계획기의 확장성과 재계획 수행 비효율성 문제를 해결하기 위해.
• 종합 계획 생성이 아닌 단계별로 행동을 생성함으로써 동시 계획 및 실행을 가능하게 하기 위해.
• LLM의 생성 능력을 활용해 복잡한 실세계 도메인에서 계획 효율성과 예측 가능성 향상을 위해.
• 높은 정확도를 유지하면서도 계획 지연 시간을 줄이는 PDDL 준수 신경기호적 계획기 개발을 위해.

제안 방법

• 기존 기호적 계획기(Probe)가 생성한 합성 문제 쌍을 기반으로 GPT-3 기반 모델을 훈련하여 PDDL 준수 계획을 생성하기 위해.
• LLM이 유효한 PDDL 행동과 계획 구조를 출력하도록 유도하기 위해 프롬프트 엔지니어링 전략을 적용하기 위해.
• 각 행동을 순차적으로 생성하고 즉시 실행 가능하게 하기 위해 모듈러 아키텍처를 구현하기 위해.
• 전체 계획 완료와 계획 생성을 분리함으로써 계획 생성과 실행을 동시에 수행할 수 있도록 하기 위해.
• LLM의 추론 시간이 입력 및 출력 길이에 따라 선형적으로 증가하는 특성을 활용해 예측 가능성 향상과 지연 시간 감소를 위해.
• 정확도, 계획 길이, 대기 시간을 측정하기 위해 1,000개 문제로 구성된 테스트 세트를 사용해 MACRO 도메인에서 프레임워크를 검증하기 위해.

Figure 1 : A Baxter robot executing actions in two domains involving the manipulation of an articulated object. A human can act on an articulated object’s joint at any time, forcing the robot to re-plan.

실험 결과

연구 질문

• RQ1 미세조정된 LLM이 기존 기호적 계획기 수준의 정확도로 PDDL 준수 계획을 생성할 수 있는가?
• RQ2 종합 계획 생성 방식에 비해 단계별로 계획을 생성할 경우 계획 가용성 대기 시간 평균이 감소하는가?
• RQ3 LLM 기반 접근 방식이 기준 기호적 계획기보다 더 짧고 효율적인 계획을 생성할 수 있는가?
• RQ4 LLM 기반 계획기와 기존 기호적 계획기 간의 계획 생성 예측 가능성(응답 시간의 표준편차로 측정)은 어떻게 비교되는가?

주요 결과

• Teriyaki는 1,000개의 테스트 문제 중 95.5%를 해결하여 최신 기술 수준의 기호적 계획기와 비슷한 정확도를 입증했다.
• Teriyaki가 생성한 평균 계획 길이는 기준 기호적 계획기 대비 최대 13.5% 짧았다.
• 단계별 생성 덕분에 계획이 가용해지기까지 평균 대기 시간이 61.2% 감소했다.
• 단일 행동에 대한 응답 시간의 표준편차는 3.47에서 0.15로 감소하여 예측 가능성의 급격한 향상을 보였다.
• 이 프레임워크는 동시 계획 및 실행을 가능하게 하여 지연 시간을 줄이고 인간-로봇 협업의 상호작용 유연성을 향상시켰다.
• GPT-3의 원시 계획 시간은 느리지만, 이 프레임워크의 생성 및 확장 가능한 특성 덕분에 동적이고 재계획이 빈번한 환경에서 강력한 이점을 제공한다.

Figure 2 : A diagram of Teriyaki fine-tuning process. Blocks in yellow represent custom code developed for data generation and processing as described in section 3.2 .