[논문 리뷰] Can Large Language Models be Good Path Planners? A Benchmark and Investigation on Spatial-temporal Reasoning

Mohamed Aghzal, Erion Plaku외 1명|arXiv (Cornell University)|2023. 10. 05.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 격자 환경에서 경로 계획을 위한 시공간 추론 능력을 평가하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 평가하는 데 사용할 수 있는 PPNL 벤치마크를 소개한다. 소수의 예시를 활용한 프롬프팅, 사고의 흐름(Chain-of-Thought), ReAct 스타일의 번갈아가며 추론하는 방법을 사용하여 GPT-4는 국소적 작업에서 96.1%의 성공률을 기록했지만, 장기적인 시간적 추론에서는 여전히 실패한다. 미세조정된 모델은 훈련 분포를 초월해 일반화하는 데에 빈약하다.

ABSTRACT

Large language models (LLMs) have achieved remarkable success across a wide spectrum of tasks; however, they still face limitations in scenarios that demand long-term planning and spatial reasoning. To facilitate this line of research, in this work, we propose a new benchmark, termed $ extbf{P}$ath $ extbf{P}$lanning from $ extbf{N}$atural $ extbf{L}$anguage ($ extbf{PPNL}$). Our benchmark evaluates LLMs' spatial-temporal reasoning by formulating ''path planning'' tasks that require an LLM to navigate to target locations while avoiding obstacles and adhering to constraints. Leveraging this benchmark, we systematically investigate LLMs including GPT-4 via different few-shot prompting methodologies as well as BART and T5 of various sizes via fine-tuning. Our experimental results show the promise of few-shot GPT-4 in spatial reasoning, when it is prompted to reason and act interleavedly, although it still fails to perform long-term temporal reasoning. In contrast, while fine-tuned LLMs achieved impressive results on in-distribution reasoning tasks, they struggled to generalize to larger environments or environments with more obstacles.

연구 동기 및 목표

• LLM의 시공간 추론 능력 평가에 있어 장수평 계획 작업에 대한 격차를 메우기 위해.
• 모달리티가 혼합되지 않은, 공간적 및 시간적 추론을 고립시킨 제어된 기반 벤치마크를 개발하기 위해.
• GPT-4와 같은 최신 LLM이 다양한 프롬프팅 전략을 사용하여 경로 계획 작업을 수행할 때 어떻게 작동하는지 조사하기 위해.
• 소수의 예시 프롬프팅과 미세조정된 모델(BART, T5) 간의 내분포 성능 및 외분포 일반화 능력을 비교하기 위해.
• 현재 LLM이 장기간의 시퀀스에 걸쳐 동적 장애물 회피 항법에 대해 추론하는 데에 도달하는 한계를 평가하기 위해.

제안 방법

• 장애물과 제약 조건이 있는 구조화된 격자 환경에서 자연어 지시 작업으로 경로 계획을 정의하는 PPNL을 제안한다.
• 평가 조건을 제어하기 위해 크기, 장애물 수, 목표 구성이 다른 합성 격자 환경을 생성한다.
• GPT-4에 대해 네 가지 프롬프팅 전략을 적용한다: 단순 소수의 예시 프롬프팅, 행동과 효과 프롬프팅, 사고의 흐름(Chain-of-Thought, CoT), ReAct(이론적 추론, 행동, 관찰을 번갈아가며 수행하는 방식).
• 내분포 경로 계획 데이터를 기반으로 BART와 T5 모델을 미세조정하여 새로운 환경에 대한 제로샷 일반화 능력을 평가한다.
• 성공은 충돌 없이 모든 목표에 도달하는 것으로 정의되며, 궤적 유효성은 시뮬레이션을 통해 점검되는 구조화된 평가 프로토콜을 사용한다.
• 성능 측정은 성공률, 궤적 길이, 환경 변화에 따른 일반화 능력 등을 기반으로 한다.

Figure 1: Overview of the data generation process.

실험 결과

연구 질문

• RQ1 GPT-4와 같은 소수의 예시 프롬프팅을 사용한 LLM은 장애물이 있는 격자 환경에서 종단 간 경로 계획을 성공적으로 수행할 수 있는가?
• RQ2 예를 들어 ReAct와 같은 번갈아가며 추론 방식은 정적 CoT나 단순 프롬프팅에 비해 LLM의 시공간 계획 능력을 얼마나 향상시키는가?
• RQ3 BART, T5와 같은 미세조정된 LLM은 훈련 분포를 초월해 더 크거나 더 복잡한 환경으로 일반화할 수 있는가?
• RQ4 더 긴 시퀀스나 더 높은 장애물 밀도를 가진 환경에서 LLM의 성능은 상당히 떨어지는가?
• RQ5 LLM은 장기적인 시간적 추론을 유지할 수 있는가, 아니면 짧은 시각적 결정을 바로 잡기 위해 자주 환경 피드백이 필요한가?

주요 결과

• ReAct 프롬프팅을 통해 GPT-4의 성공률은 96.1%로 상승했으며, 이는 단순 소수의 예시 프롬프팅보다 유의미하게 높은 성능을 보여, 번갈아가며 추론하고 환경 피드백을 활용하는 것이 중요하다는 점을 입증한다.
• 행동과 효과 프롬프팅은 단순 소수의 예시 프롬프팅 대비 21.5% 성공률 향상을 보였으며, 상태 변화를 추적함으로써 즉각적인 의사결정 능력 향상이 가능하다는 것을 시사한다.
• 사고의 흐름 프롬프팅은 행동과 효과 프롬프팅 대비 3% 향상된 성능을 기록했으며, 이는 체계적인 추론이 계획 품질을 향상시킨다는 것을 의미한다.
• 내분포 작업에서 높은 성공률를 기록했음에도 불구하고, 미세조정된 BART와 T5 모델은 더 큰 격자나 더 많은 장애물이 있는 환경으로 일반화하지 못했다.
• ReAct를 사용한 GPT-4는 여전히 몇 단계 정도만 앞서 계획을 세우며 자주 경로를 수정함으로써 장기적인 시간적 추론 능력이 부족함을 보여준다.
• 단순 프롬프팅은 무작위 행동 시퀀스를 유도했으며, 이는 지시되지 않은 LLM이 경로 계획 작업이나 환경의 구조를 이해하지 못함을 확인한다.

Figure 2: Overview of the most common errors produced by each prompting method for few-shot GPT-4. We show the shortcomings of each method and how other methods improve on that aspect.