[論文レビュー] Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning

Liangming Pan, Alon Albalak+2 more|arXiv (Cornell University)|May 20, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文では、論理的推論の忠実性を向上させるために、大規模言語モデル（LLMs）に記号的ソルバを統合する神経記号的フレームワーク、Logic-LMを提案する。自然言語の問題を記号論理に変換するのにLLMsを使用し、その後、決定的記号的推論エンジンを適用することで、5つの論理的推論データセット全体で標準的プロンプトに比べ39.2%、チェーン・オブ・トゥークン（CoT）プロンプトに比べ18.4%の平均的なパフォーマンス向上を達成した。

ABSTRACT

Large Language Models (LLMs) have shown human-like reasoning abilities but still struggle with complex logical problems. This paper introduces a novel framework, Logic-LM, which integrates LLMs with symbolic solvers to improve logical problem-solving. Our method first utilizes LLMs to translate a natural language problem into a symbolic formulation. Afterward, a deterministic symbolic solver performs inference on the formulated problem. We also introduce a self-refinement module, which utilizes the symbolic solver's error messages to revise symbolic formalizations. We demonstrate Logic-LM's effectiveness on five logical reasoning datasets: ProofWriter, PrOntoQA, FOLIO, LogicalDeduction, and AR-LSAT. On average, Logic-LM achieves a significant performance boost of 39.2% over using LLM alone with standard prompting and 18.4% over LLM with chain-of-thought prompting. Our findings suggest that Logic-LM, by combining LLMs with symbolic logic, offers a promising avenue for faithful logical reasoning. Code and data are publicly available at https://github.com/teacherpeterpan/Logic-LLM.

研究の動機と目的

• 推論ステップから論理的に導かれない結論を導く、LLMsにおける不忠実な推論の問題に対処すること。
• 純粋にニューラルな推論の限界を克服し、論理的整合性を保証する記号論理システムを統合すること。
• LLMsの自然言語理解能力を活用し、複雑な論理的問題の正確な記号的表現を生成すること。
• 記号的ソルバからのエラーフィードバックを用いた自己改善メカニズムにより、記号的形式化の正確性を向上させること。
• 多様な論理的推論ベンチマークにおいて、LLMsと記号的推論を統合する有効性を示すこと。

提案手法

• 大規模言語モデル（例：GPT-4）を用い、自然言語の問題を記号的論理表現（例：一階論理、制約充足、SAT式）に翻訳する。
• 分野固有の記号的ソルバ（例：論理プログラミングエンジン、FOL推論エンジン、制約最適化エンジン、SATソルバ）を用い、記号的表現に対して決定的推論を実行する。
• 記号的ソルバからのエラーメッセージをフィードバックとして用い、反復的に記号的形式化を再修正する自己改善モジュールを導入する。
• 記号的ソルバの出力を解釈し、最終的な予測のための元の答え空間にマッピングする。
• 正解の記号的表現を生成するのを支援するため、Few-shotの文脈学習とデモンストレーションを用いる。
• 分野特化の記号的ツールを用いて、帰納的推論、FOL推論、制約充足、分析的推論など、多様な推論タイプをサポートする。

Figure 1: Overview of our Logic-LM framework.

実験結果

リサーチクエスチョン

• RQ1 LLMsと記号的ソルバを統合することで、標準的プロンプトに比べ、論理的推論の忠実性と正確性が顕著に向上するか？
• RQ2 推論の深さが増すにつれて、LLM-記号的統合のパフォーマンスはどのように変化するか？
• RQ3 記号的ソルバからのフィードバックを用いた自己改善は、記号的形式化の質をどの程度向上させるか？
• RQ4 FOL、制約充足、分析的推論を含む多様な論理的推論タスクにおいて、このフレームワークはどの程度有効か？
• RQ5 LLMsによる記号的形式化の主な失敗モードは何か。また、それらは全体の推論パフォーマンスにどのように影響を与えるか？

主な発見

• Logic-LMは、5つの論理的推論データセット全体で、標準的プロンプトに比べ39.2%、チェーン・オブ・トゥークン（CoT）プロンプトに比べ18.4%の平均的なパフォーマンス向上を達成した。
• フレームワークのパフォーマンスは推論の深さが増すにつれて顕著に向上し、複雑な問題に対する高いスケーラビリティを示している。
• 記号的ソルバのエラーメッセージをフィードバックとして用いた自己改善は、記号的形式化の正確性に明確な向上をもたらした。
• エラー事例から、LLMsが頻繁に述語を誤って表現したり、空間的関係（例：'above' と 'below'）を混同したり、文法的に誤ったFOL式を生成することが明らかになった。
• 多様な推論タイプ（帰納的推論、FOL、CSP、分析的推論）において、この手法は強固な性能を示した。
• 記号的形式化の課題が存在するが、記号的ソルバの統合により、論理的整合性と推論結果の透明性が保証された。

Figure 2: Overview of our Logic-LM model, which consists of three modules: ( 1 ) Problem Formulator generates a symbolic representation for the input problem with LLMs via in-context learning ( 2 ) Symbolic Reasoner performs logical inference on the formulated problem, and ( 3 ) Result Interpreter i