[論文レビュー] Large Language Model Guided Tree-of-Thought

Jieyi Long|arXiv (Cornell University)|May 15, 2023

graph theory and CDMA systems被引用数 51

ひとこと要約

Tree-of-Thought (ToT) framework が、prompter、checker、memory、ToT controller を用いて LLM を拡張し、複数ラウンドの問題解決におけるバックトラッキングを可能にする; Sudoku 解法の性能が改善されることを示す。

ABSTRACT

In this paper, we introduce the Tree-of-Thought (ToT) framework, a novel approach aimed at improving the problem-solving capabilities of auto-regressive large language models (LLMs). The ToT technique is inspired by the human mind's approach for solving complex reasoning tasks through trial and error. In this process, the human mind explores the solution space through a tree-like thought process, allowing for backtracking when necessary. To implement ToT as a software system, we augment an LLM with additional modules including a prompter agent, a checker module, a memory module, and a ToT controller. In order to solve a given problem, these modules engage in a multi-round conversation with the LLM. The memory module records the conversation and state history of the problem solving process, which allows the system to backtrack to the previous steps of the thought-process and explore other directions from there. To verify the effectiveness of the proposed technique, we implemented a ToT-based solver for the Sudoku Puzzle. Experimental results show that the ToT framework can significantly increase the success rate of Sudoku puzzle solving. Our implementation of the ToT-based Sudoku solver is available on GitHub: \url{https://github.com/jieyilong/tree-of-thought-puzzle-solver}.

研究の動機と目的

• 長距離推論の必要性を動機づけ、標準 LLM の線形生成の失敗と正確性チェックの欠如に対処する。
• バックトラッキングと拡張された解探索を可能にする Tree-of-Thought フレームワークを提案する。
• ToT を Sudoku ソルバーで実演し、Sudoku ベンチマークでの性能を評価する。
• ToT のアーキテクチャ、トレーニングアルゴリズム、システムコンポーネントを整理する。
• ToT による汎用的な問題解決の制限と将来の拡張について論じる。

提案手法

• プロンプターエージェント、チェッカー・モジュール、メモリモジュール、および ToT コントローラーを組み込み、木構造の検索を可能にする。
• 中間解を検証し、ToT コントローラーを介してバックトラッキングを許可するために checker を使用する。
• 会話履歴と問題状態を memory に保存して、将来のプロンプトと探索を導く。
• REINFORCE 系の方法で訓練されたポリシー・ネットワークベースの ToT コントローラー（およびプロンプター）をマルチエージェント設定で用いる。
• ToT 問題解決を、エージェントに guided by を短距離推論ステップを提供するマルチラウンド対話として形式化する。

実験結果

リサーチクエスチョン

• RQ1 ToT は、従来の LLM の短距離推論能力を超える複雑な問題に対して長距離推論と解探索を改善できるか？
• RQ2 プロンプター、チェッカー、メモリ、コントローラーの各コンポーネントは、バックトラッキングと改善された問題解決を実現するためにどのように相互作用するか？
• RQ3 ToT ベースの Sudoku ソルバーは、ゼロショットおよび CoT ベースのプロンプトと比較して、ベンチマークパズルでより高い成功率を達成するか？
• RQ4 ルールベースのチェッカーとコントローラーの制限は何か、ニューラルなコンポーネントは性能をどう改善できるか？

主な発見

• ToT-based Sudoku solver achieved higher success rates than zero-shot and CoT-based solvers on three Sudoku benchmarks (3x3, 4x4, 5x5) as described in the experiments.
• Rule-based ToT controller and checker enable backtracking and memory-assisted exploration of the solution space.
• The ToT framework increases the number of computation steps through multi-round interaction, improving long-range reasoning.
• In the 3x3 puzzle set, the ToT solver solved all puzzles, outperforming other baselines by about 11% in improvement.
• The authors note limitations of the rule-based components and propose neural controller and checker as future enhancements.
• The approach is modular and potentially applicable to broader mathematical and logical reasoning tasks beyond Sudoku.