[論文レビュー] TRIP-PAL: Travel Planning with Guarantees by Combining Large Language Models and Automated Planners

Tomás de la Rosa, Sriram Gopalakrishnan+3 more|arXiv (Cornell University)|Jun 14, 2024

Natural Language Processing Techniques被引用数 7

ひとこと要約

TRIP-PAL は LLM と自動プランナーを組み合わせて、制約保証付きの実現可能で最適な旅行計画を作成し、計画品質において GPT-4 を上回る。

ABSTRACT

Travel planning is a complex task that involves generating a sequence of actions related to visiting places subject to constraints and maximizing some user satisfaction criteria. Traditional approaches rely on problem formulation in a given formal language, extracting relevant travel information from web sources, and use an adequate problem solver to generate a valid solution. As an alternative, recent Large Language Model (LLM) based approaches directly output plans from user requests using language. Although LLMs possess extensive travel domain knowledge and provide high-level information like points of interest and potential routes, current state-of-the-art models often generate plans that lack coherence, fail to satisfy constraints fully, and do not guarantee the generation of high-quality solutions. We propose TRIP-PAL, a hybrid method that combines the strengths of LLMs and automated planners, where (i) LLMs get and translate travel information and user information into data structures that can be fed into planners; and (ii) automated planners generate travel plans that guarantee constraint satisfaction and optimize for users' utility. Our experiments across various travel scenarios show that TRIP-PAL outperforms an LLM when generating travel plans.

研究の動機と目的

• POI の有用性と現実世界の制約を組み合わせた制約付き最適化問題として旅行計画を動機づける。
• 旅行関連データを抽出し、ユーザーの目的をプランナーに適した表現に翻訳するために LLM を活用する。
• 自動化されたプランニングコンポーネントを介して制約充足を保証し、ユーザーの有用性を最適化する。
• 旅行文脈におけるoversubscription planning を探究し、LLM のみの計画と比較する。
• 多様な都市シナリオと POI セットにわたるスケーラビリティと堅牢性を示す。

提案手法

• 連続的な GPT-4 プロンプトを用いて N 個の POI とそれらの有用性、訪問時間、および移動時間を抽出する。
• POI をソフトゴール、有用性を最適化ターゲットとして、PDDL に oversubscription planning の問題を定式化する。
• 抽出したデータを UPF 計画ライブラリを介して PDDL に変換し、AI プランナー（Fast Downward）で解いて妥当性と最適性を保証する。
• 妥当性チェックと計画有用性を指標として、GPT-4 の計画出力と TRIP-PAL の計画を任意に比較する。
• POI数と所要時間が異なる 20 市域で評価し、計画の妥当性、有用性、実行時間を測定する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな LLM-プランナー系は、妥当で制約を満たす旅行計画を保証しつつ、ユーザーの有用性を最大化できるか。
• RQ2 旅行分野における oversubscription planning は計画の品質と実現性にどう影響するか。
• RQ3 多様な都市シナリオにおいて、自動プランナーを統合することは LLM のみのアプローチよりも計画の妥当性と有用性を改善するか。

主な発見

• TRIP-PAL は一貫して妥当で実現可能性と最適な有用性を保証する計画を生成します。
• GPT-4 の計画は硬い制約の下でしばしば無効となり、多くのタスクで無効性が見られます。
• 標準的な日程計画において、TRIP-PAL は GPT-4 より高い計画有用性を示し、100 課題（20 市×各市5 問題）で評価されます。
• GPT-4 の計画は少数のケースで妥当なこともありますが、妥当な場合には、TRIP-PAL は依然として平均的な有用性が高い。
• POI や旅行時間が増えると、GPT-4 の最適性の低さは TRIP-PAL に対して相対的に拡大し、TRIP-PAL は最適化問題を解くことによる計画時間のオーバーヘッドが生じる。