[논문 리뷰] Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing

Ye Tian, Baolin Peng외 5명|arXiv (Cornell University)|2024. 04. 18.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 위한 자기 향상 프레임워크인 AlphaLLM을 소개한다. 이 프레임워크는 상상-검색-비평 순환 구조를 통해 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 LLM과 통합한다. 프롬프트 합성, 계층적 옵션을 적용한 최적화된 MCTS, 정밀한 피드백을 제공하는 3종의 비평가 모델을 활용함으로써, 추가 애너테이션 없이도 수학적 추론 성능을 향상시키며, MCTS로 디코딩했을 때 GPT-4 수준에 근접한 성능을 달성한다.

ABSTRACT

Despite the impressive capabilities of Large Language Models (LLMs) on various tasks, they still struggle with scenarios that involves complex reasoning and planning. Recent work proposed advanced prompting techniques and the necessity of fine-tuning with high-quality data to augment LLMs' reasoning abilities. However, these approaches are inherently constrained by data availability and quality. In light of this, self-correction and self-learning emerge as viable solutions, employing strategies that allow LLMs to refine their outputs and learn from self-assessed rewards. Yet, the efficacy of LLMs in self-refining its response, particularly in complex reasoning and planning task, remains dubious. In this paper, we introduce AlphaLLM for the self-improvements of LLMs, which integrates Monte Carlo Tree Search (MCTS) with LLMs to establish a self-improving loop, thereby enhancing the capabilities of LLMs without additional annotations. Drawing inspiration from the success of AlphaGo, AlphaLLM addresses the unique challenges of combining MCTS with LLM for self-improvement, including data scarcity, the vastness search spaces of language tasks, and the subjective nature of feedback in language tasks. AlphaLLM is comprised of prompt synthesis component, an efficient MCTS approach tailored for language tasks, and a trio of critic models for precise feedback. Our experimental results in mathematical reasoning tasks demonstrate that AlphaLLM significantly enhances the performance of LLMs without additional annotations, showing the potential for self-improvement in LLMs.

연구 동기 및 목표

• 복잡한 작업을 위한 데이터 부족성과 낮은 추론 능력의 문제를 해결하기 위해.
• 외부 애너테이션이나 고품질의 지도 학습 데이터에 의존하지 않고도 LLM의 자기 향상을 가능하게 하기 위해.
• 광범위한 탐색 공간과 주관적인 피드백에 도전하면서 자연어 작업에 MCTS를 적응시키기 위해.
• LLM이 스스로 추론 경로를 생성하고 탐색하며 평가하는 확장 가능한 자기지도 학습 루프를 설계하기 위해.
• MCTS를 강화한 LLM이 수학적 추론에서 GPT-4 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 데이터 부족 문제를 완화하기 위해 전략적 프롬프트를 합성하는 상상 구성 요소를 도입한다.
• 텍스트 생성을 마코프 결정 과정(Markov Decision Process, MDP)의 옵션으로 간주함으로써 다수의 수준에서 계획을 수행할 수 있는 계층적 MCTS 변종인 η-MCTS를 제안한다.
• 응답 품질에 대한 정밀하고 다각적인 피드백을 제공하기 위해 추론, 도구 보강, 내재 지식 비평가 모델 3종을 활용한다.
• MCTS 롤아웃에서 생성된 자기 플레이 경로를 사용해 정책 네트워크를 미세조정함으로써 반복적인 자기 향상을 가능하게 한다.
• 상태 병합 및 증가된 롤아웃을 적용하여 탐색 효율성과 수렴 속도를 향상시킨다.
• 내재 지식과 외부 도구를 통합하여 복잡한 추론 단계를 평가하는 보상 모델(ORM)을 통합한다.

Figure 1: Imagination-Searching-Criticizing self-improvement loop: Imagination component synthesizes prompts as new learning examples, with MCTS searching better trajectories guided by signals from critics for policy improving.

실험 결과

연구 질문

• RQ1 MCTS는 자연어 생성 작업에 효과적으로 적응시킬 수 있는가? 이를 통해 LLM의 자기 향상이 가능해지는가?
• RQ2 LLM은 추론 작업의 데이터 부족 문제를 해결하기 위해 어떻게 고품질의 합성 데이터를 생성할 수 있는가?
• RQ3 다중 비평가 프레임워크는 단일 비평가나 히우리스틱 방법보다 더 정확하고 신뢰할 수 있는 피드백을 제공할 수 있는가?
• RQ4 추가 애너테이션이 없이도 MCTS 가이드 탐색이 추론 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 MCTS를 통한 반복적 자기 향상은 LLM의 성능을 지속적으로 향상시키는가?

주요 결과

• AlphaLLM는 수학적 추론 벤치마크인 GSM8K에서 87.0%의 정확도를 달성하여 기초 모델을 크게 앞서간다.
• 148회의 롤아웃으로 η-MCTS는 MATH 데이터셋에서 45.4%의 정확도를 기록하며, 문장 수준의 MCTS(44.1%)보다 더 적은 롤아웃 수로도 뛰어난 성능을 보였다.
• 도구 보강 비평가를 포함시킴으로써 성능이 38.8%에서 45.4%로 향상되었으며, 이는 외부 도구가 피드백에 있어 핵심적인 역할을 한다는 것을 입증한다.
• η-MCTS에서 생성된 경로로 훈련된 모델은 재순서된 경로로 훈련된 모델보다 뛰어난 성능을 보이며, η-MCTS로 디코딩했을 때 GPT-4 성능과 맞먹는다.
• 두 라운드에 걸친 반복적 자기 향상은 일관된 성능 향상을 이끌어내어 자기 향상 루프의 확장 가능성을 확인한다.
• 제거 실험 결과, 옵션 구성과 외부 도구가 높은 성능을 내기 위해 필수적임을 확인하였으며, 이 중 하나를 제거하면 성능이 크게 떨어졌다.

Figure 2: An overview of the four operations of $\eta$ Mcts . A node is selected, expanded, simulated with fast rollout policy until a terminal node is reached, then the signals from value function, PRM and ORM are backpropagated.