[논문 리뷰] Understanding the Capabilities of Large Language Models for Automated Planning

Vishal Pallagani, Bharath Muppasani외 6명|arXiv (Cornell University)|2023. 05. 25.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 PDDL를 사용한 자동 계획에서 대규모 언어 모델(Large Language Models, LLMs)의 능력을 조사하며, 코드로 미사전학습된 LLM을 미세조정하면 알려진 도메인에 대해 계획 생성 성능이 향상되지만, 알려지지 않은 도메인으로의 일반화 능력은 여전히 제한되어 있음을 발견한다. 본 연구는 계획 일반화를 측정하기 위한 새로운 지표를 제안하고, 향후 LLM 기반 계획 연구를 촉진하기 위해 모델 가중치를 포함한 공개 벤치마크를 제공한다.

ABSTRACT

Automated planning is concerned with developing efficient algorithms to generate plans or sequences of actions to achieve a specific goal in a given environment. Emerging Large Language Models (LLMs) can answer questions, write high-quality programming code, and predict protein folding, showcasing their versatility in solving various tasks beyond language-based problems. In this paper, we aim to explore how LLMs can also be used for automated planning. To do so, we seek to answer four key questions. Firstly, we want to understand the extent to which LLMs can be used for plan generation. Secondly, we aim to identify which pre-training data is most effective in facilitating plan generation. Thirdly, we investigate whether fine-tuning or prompting is a more effective approach for plan generation. Finally, we explore whether LLMs are capable of plan generalization. By answering these questions, the study seeks to shed light on the capabilities of LLMs in solving complex planning problems and provide insights into the most effective approaches for using LLMs in this context.

연구 동기 및 목표

• PDDL로 표현된 고전적 계획 문제에 대해 LLM이 유효하고 최적의 계획을 생성할 수 있는 정도를 평가하는 것.
• LLM의 계획 생성 능력을 향상시키는 데 가장 효과적인 사전학습 데이터(예: 코드 대비 자연어)를 특정하는 것.
• LLM의 계획 생성 향상에 있어 프롬프팅과 미세조정의 효과성을 비교하는 것.
• 다양한 계획 길이, 객체 이름, 그리고 알려지지 않은 계획 도메인 간의 LLM의 일반화 능력을 평가하는 것.

제안 방법

• PDDL 벤치마크의 다양한 6개의 고전적 계획 도메인을 사용해 CodeT5와 code-davinci를 미세조정하였다.
• 학습 도메인의 예시를 활용한 희소 프롬프팅을 적용하여 제로샷 및 희소 프롬프팅 계획 생성을 평가하였다.
• 다른 계획 길이와 객체 이름 변형에서의 정확도를 기반으로 계획 일반화를 정량화하기 위해 새로운 지표인 $E_{pg}$를 제안하였다.
• 자식스낵, 디포츠, 인공위성 등 알려지지 않은 도메인에서 교차 도메인 일반화를 평가하기 위해 실험을 수행하였다.
• 재현 가능성을 확보하고 향후 연구를 지원하기 위해 모델 가중치와 함께 공개된 코드베이스를 사용하였다.
• 모델의 계획 정확도, 계획 길이 일반화 능력, 무작위 객체 이름에 대한 강건성 등을 평가하였다.

실험 결과

연구 질문

• RQ1 LLM은 PDDL로 표현된 계획 문제를 어느 정도 해결할 수 있는가?
• RQ2 LLM의 계획 생성 능력을 향상시키는 데 가장 효과적인 사전학습 데이터는 무엇인가?
• RQ3 미세조정과 프롬프팅 중 어느 것이 더 나은 계획 생성 성능를 이끌는가?
• RQ4 LLM은 알려지지 않은 계획 도메인과 다양한 계획 길이로 일반화할 수 있는가?

주요 결과

• 사전학습된 LLM은 미세조정 없이선 효과적으로 계획 문제를 해결할 수 없다.
• 코드로 사전학습된 LLM(예: CodeT5, code-davinci)은 자연어 전용 모델보다 계획 생성 능력에서 뛰어나다.
• 미세조정은 계획 생성 능력을 크게 향상시키며, 프롬프팅보다 더 높은 정확도와 더 나은 알려지지 않은 계획 길이로의 일반화 능력을 보여준다.
• 어휘가 학습 데이터와 일치할 경우 무작위 객체 이름에 대해 부분적인 일반화 능력을 보이지만, 어휘가 다를 경우 실패한다.
• 자식스낵, 디포츠, 인공위성과 같이 완전히 알려지지 않은 도메인에서 테스트했을 경우, 프롬프팅과 미세조정 모두 완전히 실패하며, $E_{pg} = 1$은 유효한 계획이 생성되지 않았음을 나타낸다.
• 제안된 $E_{pg}$ 지표는 현재 LLM이 길이 및 구조 일반화에서 진전이 있었음에도 불구하고 도메인 일반화에 어려움을 겪고 있음을 효과적으로 반영한다.