[논문 리뷰] Large Language Model Guided Tree-of-Thought

Jieyi Long|arXiv (Cornell University)|2023. 05. 15.

graph theory and CDMA systems인용 수 51

한 줄 요약

Tree-of-Thought (ToT) 프레임워크를 소개하며, 프로mpter, checker, memory, ToT 컨트롤러로 다중 라운드 문제 해결에서 백트래킹을 가능하게 하고 Sudoku 해결 성능 향상을 보여준다.

ABSTRACT

In this paper, we introduce the Tree-of-Thought (ToT) framework, a novel approach aimed at improving the problem-solving capabilities of auto-regressive large language models (LLMs). The ToT technique is inspired by the human mind's approach for solving complex reasoning tasks through trial and error. In this process, the human mind explores the solution space through a tree-like thought process, allowing for backtracking when necessary. To implement ToT as a software system, we augment an LLM with additional modules including a prompter agent, a checker module, a memory module, and a ToT controller. In order to solve a given problem, these modules engage in a multi-round conversation with the LLM. The memory module records the conversation and state history of the problem solving process, which allows the system to backtrack to the previous steps of the thought-process and explore other directions from there. To verify the effectiveness of the proposed technique, we implemented a ToT-based solver for the Sudoku Puzzle. Experimental results show that the ToT framework can significantly increase the success rate of Sudoku puzzle solving. Our implementation of the ToT-based Sudoku solver is available on GitHub: \url{https://github.com/jieyilong/tree-of-thought-puzzle-solver}.

연구 동기 및 목표

• LLM에서 장기 추론의 필요성을 자극하고 선형 생성의 실패와 정답 확인의 결여를 다룬다.
• Backtracking 및 확장된 솔루션 탐색을 가능하게 하는 Tree-of-Thought 프레임워크를 제안한다.
• ToT를 Sudoku 솔버로 시연하고 Sudoku 벤치마크에서 성능을 평가한다.
• ToT의 아키텍처, 학습 알고리즘, 시스템 구성 요소를 제시한다.
• ToT를 이용한 일반적인 문제 해결의 한계와 향후 확장 가능성을 논의한다.

제안 방법

• LLM에 프로mpter 에이전트, checker 모듈, memory 모듈, ToT 컨트롤러를 추가하여 트리-유사 탐색을 가능하게 한다.
• Checker를 사용하여 중간 해결책의 타당성을 검증하고 ToT 컨트롤러를 통한 백트래킹을 허용한다.
• 메모리에 대화 기록 및 문제 상태를 저장하여 향후 프롬프트와 탐색을 안내한다.
• REINFORCE 스타일 방법으로 학습된 다에이전트 설정의 정책-네트워크 기반 ToT 컨트롤러(및 프로mp터)를 사용한다.
• ToT 문제 해결을 다중 라운드 상호 작용으로 형식화하여 LLM이 에이전트가 안내하는 단거리 추론 단계를 제공하도록 한다.

실험 결과

연구 질문

• RQ1 ToT가 표준 LLM의 단거리 추론 능력을 넘어서는 복잡한 문제에 대해 장기 추론 및 솔루션 탐색을 향상시킬 수 있는가?
• RQ2 프로mpter, checker, memory 및 컨트롤러 구성 요소가 어떻게 상호 작용하여 백트래킹 및 향상된 문제 해결을 가능하게 하는가?
• RQ3 ToT 기반 Sudoku 솔버가 제로샷 및 CoT 기반 프롬프트와 비교했을 때 벤치마크 퍼즐에서 더 높은 성공률을 달성하는가?
• RQ4 규칙 기반 체크커와 컨트롤러의 한계는 무엇이며 신경망 구성 요소가 성능을 개선할 수 있는 방법은 무엇인가?

주요 결과

• ToT 기반 Sudoku 솔버가 세 가지 Sudoku 벤치마크(3x3, 4x4, 5x5)에서 제로샷 및 CoT 기반 솔버보다 높은 성공률을 달성했다(실험에 설명된 대로).
• 규칙 기반 ToT 컨트롤러와 체크커가 백트래킹 및 메모리 보조 탐색을 가능하게 한다.
• ToT 프레임워크는 다중 라운드 상호 작용을 통해 계산 단계를 증가시켜 장기 추론을 향상시킨다.
• 3x3 퍼즐 세트에서 ToT 솔버가 모든 퍼즐을 해결했고 다른 베이스라인보다 약 11% 정도의 향상을 보였다.
• 저자는 규칙 기반 구성 요소의 한계를 지적하고 향후 신경망 컨트롤러와 체크커를 제안한다.
• 이 접근법은 모듈식이어서 Sudoku를 넘는 더 넓은 수학적 및 논리적 추론 작업에도 적용 가능하다.