[論文レビュー] Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought

Xiaoyu Tan, Yongxin Deng+6 more|arXiv (Cornell University)|Jul 18, 2024

Topic Modeling被引用数 4

ひとこと要約

この論文では、検証済みのPrologによる推論経路を模倣することで、大規模言語モデルの推論能力を向上させる自己駆動型フレームワークであるThought-Like-Proを提案する。記号的Prologエンジンを用いて正しい論理的推論を生成し、それを自然言語のChain-of-Thought（CoT）プロンプトに変換することで、LLMが強固で一般化可能な推論パターンを学習できるようにする。この手法により、最小限の深刻な忘却を伴いながら、分布外の推論タスクにおける性能が顕著に向上する。

ABSTRACT

Large language models (LLMs) have shown exceptional performance as general-purpose assistants, excelling across a variety of reasoning tasks. This achievement represents a significant step toward achieving artificial general intelligence (AGI). Despite these advancements, the effectiveness of LLMs often hinges on the specific prompting strategies employed, and there remains a lack of a robust framework to facilitate learning and generalization across diverse reasoning tasks. To address these challenges, we introduce a novel learning framework, THOUGHT-LIKE-PRO In this framework, we utilize imitation learning to imitate the Chain-of-Thought (CoT) process which is verified and translated from reasoning trajectories generated by a symbolic Prolog logic engine. This framework proceeds in a self-driven manner, that enables LLMs to formulate rules and statements from given instructions and leverage the symbolic Prolog engine to derive results. Subsequently, LLMs convert Prolog-derived successive reasoning trajectories into natural language CoT for imitation learning. Our empirical findings indicate that our proposed approach substantially enhances the reasoning abilities of LLMs and demonstrates robust generalization across out-of-distribution reasoning tasks.

研究の動機と目的

• 多様なタスクにわたる大規模言語モデルの推論能力を向上させる一般化可能なフレームワークの欠如に対処すること。
• 形式的検証された記号的論理エンジンに推論ステップを基盤とすることで、自己回帰的推論における誤り伝播を低減すること。
• 検証済みのCoT経路の模倣学習を通じて、記号的推論とニューラル言語モデルの間のギャップを埋めること。
• 論理的に正しい、Prologで検証された推論経路から学習することで、LLMが分布外の推論タスクに一般化できることを可能にすること。
• モデル平均化を用いてドメイン特化微調整中に深刻な忘却を緩和すること。

提案手法

• 自然言語の指示とデモから、オープンソースのLLMを用いてPrologの事実、規則、クエリを生成する。
• 記号的Prologエンジンを用いて論理的推論を実行し、推論経路の正しさを検証する。
• 正当性が確認された推論経路のみを自然言語のChain-of-Thought（CoT）シーケンスに変換する。
• Prologから得た推論ステップを構造化された自然言語のCoTプロンプトに翻訳し、教師あり微調整（SFT）に用いる。
• 微調整中にモデル平均化を適用し、深刻な忘却を防ぎ、一般化性能を向上させる。
• 自己駆動型ループを採用：LLMが論理を生成 → Prologが検証 → CoTが生成 → 修正済みCoTでLLMを微調整する。

実験結果

リサーチクエスチョン

• RQ1 Prologによる記号的検証は、LLMの推論経路の信頼性と正しさを向上させることができるか？
• RQ2 検証済みのProlog推論経路からの模倣学習は、分布外の推論タスクにおけるLLMの一般化性能を向上させることができるか？
• RQ3 記号的論理とニューラルモデルの統合は、推論の正確性と耐性にどのような影響を与えるか？
• RQ4 自己駆動型のProlog補強CoT生成は、自己回帰的推論における誤り伝播をどの程度低減できるか？
• RQ5 このハイブリッドフレームワークにおいて、モデル平均化はタスク固有の微調整中に深刻な忘却を効果的に緩和するか？

主な発見

• 提案されたThought-Like-Proフレームワークは、多様な推論タスクにおいてLLMの推論能力を顕著に向上させる。
• この手法は、分布外の推論タスクへの一般化が強く、標準的なCoTや少数ショットプロンプティングを上回る。
• Prologエンジンから得た正当性の確認された推論経路は、誤った推論経路を排除し、LLMにおける誤り伝播を低減する。
• 微調整中にモデル平均化を用いることで、以前に学習したタスクのパフォーマンスを保持する上で、深刻な忘却が効果的に緩和される。
• このフレームワークは、Prologベースの論理的推論を自然言語のCoTに効果的に変換でき、LLMによる模倣学習を可能にする。
• 実験的結果から、Prologで検証済みのCoTシーケンスで微調整されたLLMは、複雑な論理的および算術的推論タスクにおいて高い正確性と一貫性を達成することが確認された。