[論文レビュー] Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs

Sen Yang, Xin Li+3 more|arXiv (Cornell University)|Nov 16, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、知識抽出に大規模言語モデル（LLM）を用い、意思決定的推論にLLMフリーの記号的ソルバーを組み合わせる神経記号的フレームワークCaRingを提案する。これにより、因果的かつ信頼性のある推論証明が保証される。形式化された知識を実行するためにカスタマイズされたメタインタプリタを用いることで、CaRingは近似的に完璧な正確性（7Bで98.80%、34Bで100%）を達成し、ProofWriterにおいてCoTベースラインと比較して推論証明類似度が3倍以上向上した。GSM8KおよびPrOntoQAにおいても顕著な向上が得られた。

ABSTRACT

Two lines of approaches are adopted for complex reasoning with LLMs. One line of work prompts LLMs with various reasoning structures, while the structural outputs can be naturally regarded as intermediate reasoning steps. Another line of work adopt LLM-free declarative solvers to do the reasoning task, rendering higher reasoning accuracy but lacking interpretability due to the black-box nature of the solvers. Aiming to resolve the trade-off between answer accuracy and interpretability, we present a simple extension to the latter line of work. Specifically, we showcase that the intermediate search logs generated by Prolog interpreters can be accessed and interpreted into human-readable reasoning proofs. As long as LLMs correctly translate problem descriptions into Prolog representations, the corresponding reasoning proofs are ensured to be causal and reliable. On two logical reasoning and one arithmetic reasoning datasets, our framework obtains significant improvements in terms of both answer accuracy and reasoning proof accuracy. Our code is released at https://github.com/DAMO-NLP-SG/CaRing

研究の動機と目的

• 大規模言語モデル（LLM）が生成する推論証明に因果性と信頼性が欠如している問題に対処する。これは、誤ったまたは架空の途中ステップを含んでいても正しい答えを導くことがあるためである。
• 知識表現（LLMを介して）と意思決定的推論（記号的ソルバーを介して）を分離する神経記号的フレームワークを開発し、決定的で追跡可能な推論を保証する。
• 特に複雑な複数前提の推論タスクにおいて、ゴールスタンダード証明と構造的・因果的に整合する推論証明を生成する。
• 論理的推論（ProofWriter、PrOntoQA）および自然言語算術推論（GSM8K）を含む多様な推論データセット上で評価し、汎化性と頑健性を評価する。

提案手法

• 二段階の神経記号的フレームワーク：まず、LLMベースの記号的表現生成器（SymGen）が自然言語の問題を形式的で機械可読な知識表現に変換する。
• 次に、カスタマイズされたメタインタプリタを備えた記号的推論エンジン（SymInfer）が、形式化された知識に対して、追跡可能な実行と柔軟な探索戦略をサポートする。
• 記号的ソルバーは推論中、LLMとは完全に分離して動作するため、幻覚現象を防ぎ、推論ステップの決定的かつ因果的な実行を保証する。
• メタインタプリタは推論経路を追跡可能に実装されており、深さ優先探索や最良優先探索を含む多様な探索戦略のサポートが可能である。
• 推論証明は有向無閉路グラフ（DAG）として表現され、予測された証明グラフとゴール証明グラフとの間で正規化グラフ編集距離を用いて類似度が測定される。
• 最適化されたLLMサービング（例：vLLM）により推論コストを最小限に抑えつつ、複数のLLMサイズ（7B、13B、34B）およびデータセットで評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 神経記号的アプローチは、正解は正しいが途中ステップに誤りや架空のステップを含む場合に、LLMが生成する推論証明の信頼性と因果性を顕著に向上させることができるか？
• RQ2 自然言語の問題が形式論理に変換された場合に、LLMフリーの記号的ソルバーは推論の追跡可能性と構造的整合性をどれほど維持できるか？
• RQ3 言語的複雑さが異なるデータセット（合成論理的推論：ProofWriter、実世界の算術的推論：GSM8K）にわたるハイブリッド神経記号的システムの汎化能力はどの程度か？
• RQ4 知識表現と推論実行を分離することで、エンドツーエンドのLLMプロンプト処理と比較して、答えの正確性および推論証明類似度に測定可能な向上が得られるか？

主な発見

• ProofWriterでは、7Bモデルを用いて98.80%の正確性と83.17%の推論証明類似度を達成した。CoTベースラインと比較して正確性はほぼ2倍（52.00%）、類似度は3倍以上（24.12%）向上した。
• PrOntoQAでは、34Bモデルを用いて100%の正確性を達成し、簡素化された自然言語論理文を含むデータセットにおいて優れた性能を示した。
• GSM8Kでは、34Bモデルを用いて42.22%の正確性と22.91%の推論証明類似度を達成し、最も強力なCoTベースラインの類似度（13.04%）をほぼ2倍に上回った。
• すべてのモデルサイズで高い性能を維持しており、7Bから34Bにかけて正確性が向上したため、スケーラビリティと頑健性が確認された。
• 自然言語の本質的な曖昧性にもかかわらず、CaRingはGSM8Kに効果的に一般化した。これは、LLMの一般化能力が現実世界の状況における記号的推論と相乗効果をもたらす可能性を示唆している。
• 最適化されたLLMサービングのおかげで推論コストは低く抑えられ、最も長い推論トレースであっても出力長の増加はわずかにとどまった。