[论文解读] Large Language Model Guided Tree-of-Thought

Jieyi Long|arXiv (Cornell University)|May 15, 2023

graph theory and CDMA systems被引用 51

一句话总结

引入树状思维（ToT）框架，通过增加提示器、检查器、记忆以及 ToT 控制器来增强大模型（LLM），以在多轮问题求解中实现回溯；并展示了数独求解性能的提升。

ABSTRACT

In this paper, we introduce the Tree-of-Thought (ToT) framework, a novel approach aimed at improving the problem-solving capabilities of auto-regressive large language models (LLMs). The ToT technique is inspired by the human mind's approach for solving complex reasoning tasks through trial and error. In this process, the human mind explores the solution space through a tree-like thought process, allowing for backtracking when necessary. To implement ToT as a software system, we augment an LLM with additional modules including a prompter agent, a checker module, a memory module, and a ToT controller. In order to solve a given problem, these modules engage in a multi-round conversation with the LLM. The memory module records the conversation and state history of the problem solving process, which allows the system to backtrack to the previous steps of the thought-process and explore other directions from there. To verify the effectiveness of the proposed technique, we implemented a ToT-based solver for the Sudoku Puzzle. Experimental results show that the ToT framework can significantly increase the success rate of Sudoku puzzle solving. Our implementation of the ToT-based Sudoku solver is available on GitHub: \url{https://github.com/jieyilong/tree-of-thought-puzzle-solver}.

研究动机与目标

• 激发对大语言模型中长程推理的需求，并解决线性生成的失败以及缺乏正确性检查的问题。
• 提出树状思维框架，以实现回溯和扩展的解题探索。
• 展示使用数独求解器的 ToT，并评估其在数独基准上的表现。
• 阐明 ToT 的体系结构、训练算法和系统组件。
• 讨论 ToT 在通用问题求解中的局限性及未来的扩展。

提出的方法

• 为 LLM 增强一个提示代理、一个检查模块、一个记忆模块和一个 ToT 控制器，以实现树状搜索。
• 使用检查器验证中间解，并通过 ToT 控制器允许回溯。
• 将对话历史和问题状态存储在记忆中，以指导未来的提示和探索。
• 采用基于策略网络的 ToT 控制器（和提示器），在多代理设置中以 REINFORCE 风格的方法进行训练。
• 将 ToT 问题求解形式化为多轮互动，其中 LLM 提供受代理引导的短程推理步骤。

实验结果

研究问题

• RQ1 ToT 是否能够提升对复杂问题的长程推理和解题探索，超越标准 LLM 的短程推理能力？
• RQ2 提示器、检查器、记忆和控制器组件如何协同工作以实现回溯和改进的问题求解？
• RQ3 基于 ToT 的数独求解器相较于零-shot 和基于 CoT 的提示在基准难题上是否获得更高的成功率？
• RQ4 基于规则的检查器和控制器的局限性是什么，神经组件如何提升性能？

主要发现

• 如实验所述，基于 ToT 的数独求解器在三个数独基准（3x3、4x4、5x5）上取得的成功率高于零-shot 和基于 CoT 的求解器。
• 基于规则的 ToT 控制器和检查器实现回溯并辅以记忆来探索解空间。
• ToT 框架通过多轮交互增加计算步骤数量，从而改善长程推理。
• 在 3x3 题集里，ToT 求解器解决了所有题目，较其他基线提升约 11%。
• 作者指出基于规则的组件的局限性，并提出将神经网络控制器和检查器作为未来改进。
• 该方法是模块化的，可能适用于超越数独的更广泛的数学和逻辑推理任务。