[논문 리뷰] TRIP-PAL: Travel Planning with Guarantees by Combining Large Language Models and Automated Planners

Tomás de la Rosa, Sriram Gopalakrishnan외 3명|arXiv (Cornell University)|2024. 06. 14.

Natural Language Processing Techniques인용 수 7

한 줄 요약

TRIP-PAL은 LLM과 자동화된 계획자를 결합하여 제약 보장을 갖춘 실행 가능하고 최적의 여행 계획을 생성하며, 계획 품질 면에서 GPT-4를 능가합니다.

ABSTRACT

Travel planning is a complex task that involves generating a sequence of actions related to visiting places subject to constraints and maximizing some user satisfaction criteria. Traditional approaches rely on problem formulation in a given formal language, extracting relevant travel information from web sources, and use an adequate problem solver to generate a valid solution. As an alternative, recent Large Language Model (LLM) based approaches directly output plans from user requests using language. Although LLMs possess extensive travel domain knowledge and provide high-level information like points of interest and potential routes, current state-of-the-art models often generate plans that lack coherence, fail to satisfy constraints fully, and do not guarantee the generation of high-quality solutions. We propose TRIP-PAL, a hybrid method that combines the strengths of LLMs and automated planners, where (i) LLMs get and translate travel information and user information into data structures that can be fed into planners; and (ii) automated planners generate travel plans that guarantee constraint satisfaction and optimize for users' utility. Our experiments across various travel scenarios show that TRIP-PAL outperforms an LLM when generating travel plans.

연구 동기 및 목표

• POI 유틸리티와 현실 세계 제약을 결합한 제약 최적화 문제로 여행 계획을 고무한다.
• 여행 관련 데이터를 추출하고 사용자 목표를 계획자 친화적인 표현으로 변환하기 위해 LLM을 활용한다.
• 자동화된 계획 구성요소를 통해 제약 만족을 보장하고 사용자의 유용성을 최적화한다.
• 여행 맥락에서 오버서브스크라이션 계획을 탐구하고 LLM-전용 계획과 비교한다.
• 다양한 도시 시나리오와 POI 세트 전반에 걸쳐 확장성과 견고성을 입증한다.

제안 방법

• 연속적인 GPT-4 프롬프트를 사용하여 N개의 POI와 그 유틸리티, 방문 시간, 이동 시간을 추출한다.
• POI를 소프트 목표로, 유틸리티를 최적화 대상으로 하여 PDDL에서 오버서브스크라이션 계획 문제를 형식화한다.
• 추출된 데이터를 UPF 계획 라이브러리를 통해 PDDL로 변환하고 AI 계획자(Fast Downward)를 사용해 타당성과 최적성을 보장한다.
• 선택적으로 타당성 검사와 계획 유틸리티를 지표로 사용하여 GPT-4 계획 출력과 TRIP-PAL 계획을 비교한다.
• 다양한 POI 수와 시간대를 가진 20개 도시에서 평가하여 계획의 타당성, 유틸리티 및 실행 시간을 측정한다.

실험 결과

연구 질문

• RQ1 하이브리드 LLM-계획자 시스템이 제약을 만족하며 사용자의 유틸리티를 극대화하는 실행 가능하고 유효한 여행 계획을 보장할 수 있는가?
• RQ2 여행 도메인에서 오버서브스크라이션 계획이 계획의 품질과 실현 가능성에 어떤 영향을 미치는가?
• RQ3 다양한 도시 시나리오에서 자동화된 계획자를 통합하는 것이 LLM-전용 접근법에 비해 계획의 타당성과 유틸리티를 향상시키는가?

주요 결과

• TRIP-PAL은 일관되게 타당한 계획을 생성하며 보장된 실현 가능성과 최적의 유틸리티를 제공한다.
• GPT-4 계획은 엄격한 제약 하에서 종종 유효하지 않으며, 상당 부분의 작업에서 부적합이 관찰된다.
• TRIP-PAL은 표준 당일 계획에서 GPT-4보다 더 높은 계획 유틸리티를 보이며, 100개 작업(20개 도시당 5문제)에서 나타난다.
• GPT-4 계획은 소수의 사례에서만 유효할 수 있지만, 유효한 경우에도 TRIP-PAL은 여전히 더 높은 평균 유틸리티를 달성한다.
• POI 수나 여행 시간이 증가할수록 GPT-4의 비효율성은 TRIP-PAL에 비해 커지며, 최적화 문제를 해결하는 과정에서 TRIP-PAL은 계획 시간 오버헤드를 수반한다.