[論文レビュー] Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models

Junchi Yu, Ran He+1 more|arXiv (Cornell University)|Oct 6, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、類似した過去に解決済みの問題から解決策を再利用することで、複雑な推論を向上させる、大規模言語モデル（LLMs）を強化する類推的推論フレームワーク「Thought Propagation（TP）」を提案する。TPはLLMに類似問題を特定し、それらを解き、その解決策を統合することで、ターゲットタスクにおける推論を精緻化または誘導する。タスク固有のプロンプト設計を一切行わずに、ベースライン比で最大15%のタスク完了率向上を達成した。

ABSTRACT

Large Language Models (LLMs) have achieved remarkable success in reasoning tasks with the development of prompting methods. However, existing prompting approaches cannot reuse insights of solving similar problems and suffer from accumulated errors in multi-step reasoning, since they prompt LLMs to reason extit{from scratch}. To address these issues, we propose extbf{ extit{Thought Propagation} (TP)}, which explores the analogous problems and leverages their solutions to enhance the complex reasoning ability of LLMs. These analogous problems are related to the input one, with reusable solutions and problem-solving strategies. Thus, it is promising to propagate insights of solving previous analogous problems to inspire new problem-solving. To achieve this, TP first prompts LLMs to propose and solve a set of analogous problems that are related to the input one. Then, TP reuses the results of analogous problems to directly yield a new solution or derive a knowledge-intensive plan for execution to amend the initial solution obtained from scratch. TP is compatible with existing prompting approaches, allowing plug-and-play generalization and enhancement in a wide range of tasks without much labor in task-specific prompt engineering. Experiments across three challenging tasks demonstrate TP enjoys a substantial improvement over the baselines by an average of 12\% absolute increase in finding the optimal solutions in Shortest-path Reasoning, 13\% improvement of human preference in Creative Writing, and 15\% enhancement in the task completion rate of LLM-Agent Planning.

研究の動機と目的

• 推論を一から行う方法の限界に対処する。この方法は類似問題からの知見を再利用できず、多段階推論において誤りが蓄積される。
• 関連する問題の解決法から類推的推論を行うことで、LLMにおける推論の頑健性と正確性が向上するかを検証する。
• 既存のプロンプト手法と互換性があり、タスク固有の設計なしに多様なタスクで推論を向上させる、即挿し可能なフレームワークを開発する。
• 成功した類似問題の解決知識を組み込むことで、多段階推論における誤り蓄積を低減する。
• 最短経路計画、創造的ライティング、LLMエージェント計画といった複雑な推論タスクにおける類推的転送の有効性を示す。

提案手法

• TPはまず、意味的および構造的な類似性に基づいて、入力問題に関連する類似問題の集合をLLMに提示する。
• 各類似問題は、Chain-of-Thought（CoT）などの既存のプロンプト技術を用いて解かれ、中間の推論トレースと最終的な解決策が生成される。
• 集約モジュールは、類似問題からの解決策を評価・統合し、入力問題の精緻化された解決策または高レベルの計画を生成する。
• 集約モジュールは、入力問題とその類似問題を比較し、LLMの初期の「一から推論」をガイドまたは是正する知識集約型計画を策定する。
• 2つの評価戦略が用いられる：Self-Evaluation（SE）では、LLMがゼロショットプロンプトを用いて計画を評価する。Simulation（SM）では、計画を環境で実行してパフォーマンスを評価する。
• このフレームワークは、既存のLLMエージェント（例：ReAct、Reflexion）と互換性があり、タスクに応じて即挿し可能な強化として適用可能である。

実験結果

リサーチクエスチョン

• RQ1 類似問題からの解決策の再利用は、複雑で多段階的なタスクにおけるLLM推論の正確性と頑健性を向上させるか？
• RQ2 過去の成功した問題解決から得た類推的推論は、LLM推論チェーンにおける誤り蓄積をどのように低減するか？
• RQ3 一様なフレームワークとしてのThought Propagationは、タスク固有のプロンプト設計なしに、多様な推論タスクにどの程度一般化可能か？
• RQ4 成功した類似問題からの知見を組み込むことで、LLMエージェント環境における計画性とタスク完了率が向上するか？
• RQ5 両者とも類似した試行錯誤メカニズムを用いるが、Thought Propagationは、反射ベースの手法（例：Reflexion）と比較してどのように異なるか？

主な発見

• Shortest-path Reasoningタスクにおいて、TPはベースライン比で最適解の発見率が12%絶対的に向上した。
• Creative Writingタスクでは、TPはベースライン比で人間の好みスコアを13%向上させ、出力の質と一貫性が向上したことを示した。
• ALFWorldにおけるLLMエージェント計画タスクでは、TPはReAct や Reflexion といった強力なベースライン比でタスク完了率を15%向上させた。
• 失敗の記憶モジュールを搭載しない場合（例：TP-SE/TP-SM）でも、TPはパrameterizedおよびプロンプトベースのベースラインを上回った。これは、肯定的類推的転送の価値を裏付けた。
• TP-SR-SE や TP-SR-SM といった、自己反映（SR）を組み込んだバージョンでは、さらにパフォーマンスが向上した。これは、失敗の自己反映と類似問題からの知見再利用の間で相乗効果があることを示している。
• 図6は6回の試行において一貫したパフォーマンス向上を示しており、フレームワークの信頼性と反復的改善の可能性を確認した。