[論文レビュー] Neuro Symbolic Reasoning for Planning: Counterexample Guided Inductive Synthesis using Large Language Models and Satisfiability Solving

Sumit Kumar Jha, Susmit Jha+5 more|arXiv (Cornell University)|Sep 28, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、大規模言語モデル（LLM）と充足論理理論（SMT）ソルバを組み合わせた神経記号的フレームワークを提案する。このフレームワークは、ブロックワールド問題における証明可能に正しい計画の生成を可能にする。不正なLLM生成計画を検出・対象例を提供するために反復的にSMTソルバを用いることで、システムはフィードバックループを通じてLLMを導き、安全性が求められる計画タスクにおける信頼性を著しく向上させる。

ABSTRACT

Generative large language models (LLMs) with instruct training such as GPT-4 can follow human-provided instruction prompts and generate human-like responses to these prompts. Apart from natural language responses, they have also been found to be effective at generating formal artifacts such as code, plans, and logical specifications from natural language prompts. Despite their remarkably improved accuracy, these models are still known to produce factually incorrect or contextually inappropriate results despite their syntactic coherence - a phenomenon often referred to as hallucination. This limitation makes it difficult to use these models to synthesize formal artifacts that are used in safety-critical applications. Unlike tasks such as text summarization and question-answering, bugs in code, plan, and other formal artifacts produced by LLMs can be catastrophic. We posit that we can use the satisfiability modulo theory (SMT) solvers as deductive reasoning engines to analyze the generated solutions from the LLMs, produce counterexamples when the solutions are incorrect, and provide that feedback to the LLMs exploiting the dialog capability of instruct-trained LLMs. This interaction between inductive LLMs and deductive SMT solvers can iteratively steer the LLM to generate the correct response. In our experiments, we use planning over the domain of blocks as our synthesis task for evaluating our approach. We use GPT-4, GPT3.5 Turbo, Davinci, Curie, Babbage, and Ada as the LLMs and Z3 as the SMT solver. Our method allows the user to communicate the planning problem in natural language; even the formulation of queries to SMT solvers is automatically generated from natural language. Thus, the proposed technique can enable non-expert users to describe their problems in natural language, and the combination of LLMs and SMT solvers can produce provably correct solutions.

研究の動機と目的

• 安全性が求められるシステムで深刻な失敗を引き起こす可能性がある、計画やコードなどのLLM生成形式的成果物における幻覚現象に対処する。
• 構文的に正しいものの形式的検証保証がない純粋な誘導的LLMの限界を克服する。
• 非専門家ユーザーが自然言語で計画問題を指定できるようにしつつ、生成された解決策が形式的に正しいことを保証する。
• SMTソルバによる演繹的推論をLLMとのインタラクティブループに統合し、対象例フィードバックを通じて誤った出力を是正する。
• 誘導的学習（LLM）と演繹的検証（SMT）を組み合わせることで、信頼性のあるプログラムおよび計画合成の実現可能性と有効性を実証する。

提案手法

• 指示微調整済みLLM（例：GPT-4、GPT-3.5 Turbo）を用いて、自然言語による問題記述から計画を生成する。
• 自然言語プロンプトを用いて、LLMが生成した計画を自動的に形式的論理表現に翻訳する。
• SMTソルバ（Z3）を用いて、生成された計画が問題の初期状態および目的条件に対して正しいかを検証する。
• 計画が誤りである場合、SMTソルバは最小の非実行可能接頭部を特定し、それをLLMに返却する対象例として提供する。
• 対象例をLLMのコンテキストにフィードバックし、会話の一部として計画の再修正を促す。
• 正しくない計画が生成されるたびに、検証と精錬のループを繰り返し、形式的正しさを保証するまで続ける。

実験結果

リサーチクエスチョン

• RQ1 SMTソルバによる形式的検証のフィードバックを受けることで、LLMはブロックワールド問題に対して信頼性高く正しい計画を生成できるか？
• RQ2 対象例誘導型フィードバックループは、幻覚的または誤ったLLM生成計画を是正するためにどれほど効果的か？
• RQ3 異なるLLM（例：GPT-4 対 GPT-3.5 Turbo）は、正しい計画を生成するための成功率および必要な反復回数にどのような影響を与えるか？
• RQ4 SMT検証の統合は、複雑性が増す計画問題においてLLM生成計画の失敗率をどの程度低減するか？
• RQ5 非専門家ユーザーは自然言語で計画問題を効果的に指定でき、このハイブリッドアプローチを用いて形式的に正しい解決策を得られるか？

主な発見

• GPT-4は3ブロック問題では20個中19個の成功を記録したが、10ブロック問題では20個中2個にとどまり、スケーラビリティの限界が顕在化した。
• GPT-3.5 Turboは3ブロック問題で20個中12個の正解を記録したが、5ブロック問題では正解数が4個に低下した。
• 対象例誘導型フィードバックループにより、正しい計画生成に必要な反復回数が削減され、GPT-4では1問題あたり平均2〜3回の反復で完了した。
• SMTソルバは、誤った計画における非実行可能接頭部（例：一番上にないブロックをアンスタックするような無効な行動シーケンス）を正常に同定した。
• 本手法により、形式論理やSMT構文の専門知識が不要な状態で、自然言語から形式的に検証済みの計画へのエンドツーエンド合成が可能になった。
• SMT検証の統合により、特に複雑または曖昧な状況下においてLLMの計画生成の信頼性が著しく向上した。