[論文レビュー] Faithful Logical Reasoning via Symbolic Chain-of-Thought

Jundong Xu, Fei Hao+4 more|arXiv (Cornell University)|May 28, 2024

Logic, Reasoning, and Knowledge被引用数 4

ひとこと要約

本論文は、Chain-of-Thought promptingに記号的表現と論理規則を統合することで論理的推論を強化する、完全にLLMベースのフレームワークSymbCoTを提案する。自然言語を一階論理に変換し、推論規則を用いた記号的推論を実行し、結果を検証する。5つのデータセットで最先端の性能を達成し、論理的推論タスクにおける忠実性、柔軟性、説明可能性が向上した。

ABSTRACT

While the recent Chain-of-Thought (CoT) technique enhances the reasoning ability of large language models (LLMs) with the theory of mind, it might still struggle in handling logical reasoning that relies much on symbolic expressions and rigid deducing rules. To strengthen the logical reasoning capability of LLMs, we propose a novel Symbolic Chain-of-Thought, namely SymbCoT, a fully LLM-based framework that integrates symbolic expressions and logic rules with CoT prompting. Technically, building upon an LLM, SymbCoT 1) first translates the natural language context into the symbolic format, and then 2) derives a step-by-step plan to solve the problem with symbolic logical rules, 3) followed by a verifier to check the translation and reasoning chain. Via thorough evaluations on 5 standard datasets with both First-Order Logic and Constraint Optimization symbolic expressions, SymbCoT shows striking improvements over the CoT method consistently, meanwhile refreshing the current state-of-the-art performances. We further demonstrate that our system advances in more faithful, flexible, and explainable logical reasoning. To our knowledge, this is the first to combine symbolic expressions and rules into CoT for logical reasoning with LLMs. Code is open at https://github.com/Aiden0526/SymbCoT.

研究の動機と目的

• 標準的なChain-of-Thoughtが記号的表現に依存する厳密でルールベースの論理的推論を処理する能力に制限を抱えることに対処すること。
• 既存のLLM-記号的統合手法が外部の記号的ソルバーに依存するため、柔軟性と説明可能性が制限されることを克服すること。
• 外部ツールに依存せずに、記号的翻訳、論理的推論、検証をすべて行う完全なエンドツーエンドのLLM駆動型システムを開発すること。
• 推論チェーン中に厳密な記号的推論規則を強制することで、論理的推論の忠実性と正しさを向上させること。
• 記号的推論をCoTに組み込むことで、標準的な自然言語CoTおよび既存のハイブリッドシステムを上回ることを実証すること。

提案手法

• SymbCoTは4モジュールのパイプラインを採用する：翻訳者（自然言語を記号論理に変換、例：一階論理）、計画者（段階的記号的推論計画を生成）、ソルバー（存在量化の展開や結合除去などの論理的推論規則を適用）、検証者（翻訳と推論チェーンの正しさを検証）。
• システムはLLMを用いて記号的翻訳と推論を実行し、外部の記号的推論器に依存しないため、完全なエンドツーエンドのLLMベースの論理的推論を実現する。
• 記号的表現は形式論理に基づくため、前提や推論を正確に表現でき、自然言語の推論に内在する曖昧性を低減する。
• 計画者モジュールは記号的推論規則を用いて中間的推論ステップを生成し、論理的厳密性と追跡可能性を保証する。
• 検証者モジュールは翻訳の正しさと推論チェーンの妥当性を両方チェックし、信頼性と忠実性を向上させる。
• フレームワークは一階論理と制約最適化問題の両方をサポートし、多様な論理的推論タスクへの広範な適用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 記号的論理をChain-of-Thought推論に統合することで、LLMの論理的推論タスクにおける正確性と忠実性を顕著に向上させることができるか？
• RQ2 外部の記号的ソルバーに依存する既存のハイブリッドアプローチと比較して、完全にLLMベースの記号的推論システムが優れているか？
• RQ3 標準的な自然言語CoTと比較して、記号的CoTは過剰一般化や誤った推論をどの程度低減するか？
• RQ4 CoT内の記号的推論は、論理的厳密性と正しさを向上させつつ、説明可能性を維持できるか？
• RQ5 SymbCoTは、厳密な推論規則と記号的操作を要するタスクを含め、多様な論理的推論ベンチマークでどの程度の性能を示すか？

主な発見

• SymbCoTは5つの標準的な論理的推論データセットで、常に標準的なChain-of-Thoughtおよび既存のハイブリッド手法を上回る最先端の性能を達成した。
• 内部の検証者による検証により、誤った推論が過剰一般化によって生じるのを抑えるという点で、推論の忠実性が顕著に向上した。
• SymbCoTは推論チェーンを記号的推論規則を通じて完全に追跡可能にするため、ブラックボックスな自然言語の推論とは異なり、説明可能性が向上した。
• 外部の記号的ソルバーへの依存が低減され、より柔軟で保守性の高い完全なエンドツーエンドのLLMベースの推論パイプラインが実現された。
• AR-LSATおよびFOLIOベンチマークでは、SymbCoTが完全に記号的な推論チェーンを用いて不可能なスケジュール選択肢（C）を正しく特定した。これは、複雑な制約推論における堅牢性を示している。
• 検証者モジュールは翻訳および推論の誤りを効果的に検出でき、全体の信頼性を向上させ、論理的推論における誤検出を低減した。