[论文解读] AlphaMath Almost Zero: Process Supervision without Process

Chen Guoxin, Minpeng Liao+2 more|arXiv (Cornell University)|May 6, 2024

Business Process Modeling and Analysis被引用 6

一句话总结

AlphaMath 将蒙特卡洛树搜索与预训练大语言模型（LLM）和轻量级价值模型集成，自主生成高质量的数学推理，无需人工或 GPT-4 标注的过程数据，实现逐步级别评估，并通过逐步束搜索实现高效推理。

ABSTRACT

Although recent advancements in large language models (LLMs) have significantly improved their performance on various tasks, they still face challenges with complex and symbolic multi-step reasoning, particularly in mathematical reasoning. To bolster the mathematical reasoning capabilities of LLMs, most existing efforts concentrate on seeking assistance from either domain experts or GPT-4 for high-quality process-supervised data, which is not only expensive but also labor-intensive. In our study, we propose an innovative framework, AlphaMath, that bypasses the need for process annotations (from humans or GPTs) by leveraging Monte Carlo Tree Search (MCTS). This framework focuses on unleashing the potential of a well-pretrained LLM to autonomously enhance its mathematical reasoning. Specifically, we integrate a value model with the LLM, automatically generating both process supervision and step-level evaluation signals in MCTS. Furthermore, we propose an efficient inference strategy, step-level beam search, where the value model is crafted to assist the policy model (i.e., LLM) in navigating more effective reasoning paths, rather than solely relying on prior probabilities. The experimental results on both in-domain and out-of-domain datasets demonstrate that even without GPT-4 or human-annotated process supervision, our AlphaMath framework achieves comparable or superior results to previous state-of-the-art methods.

研究动机与目标

• 通过利用模型的内在知识，推动在 LLMs 中降低对数学推理的标注成本。
• 开发一个自我进化框架，使用 MCTS 生成并评估中间推理步骤，而无需外部解答。
• 引入逐步束搜索，在引导 LLM 使用价值模型的同时提高推理效率。
• 证明 AlphaMath 在领域内和领域外的数学数据集上可以达到类似于最先进方法的性能，且无需 GPT-4 或人工标注。

提出的方法

• 将预训练的 LLM 与蒙特卡洛树搜索（MCTS）框架整合，以生成并评估推理步骤。
• 引入一个逐步级的价值模型 Vϕ，用于估计部分解的质量并在搜索过程中引导 LLM。
• 定义一个奖励信号，对非终止步赋值为 0，对终止的正确/错误答案赋值为 ±1，并通过回归训练 Vϕ 以逼近 eV(s)。
• 在 MCTS 期间使用混合评估 ˆV(st)，将价值模型与经验回滚奖励相结合，由 λ 控制。
• 提出逐步束搜索（SBS）以在推理阶段替代完整的 MCTS，降低潜伏时间，同时利用价值模型选择有前景的步骤。
• 使用一个迭代训练循环，从 MCTS 生成的正确/错误解路径更新策略 πθ 和价值 Vϕ，使用一个多任务损失，结合下一个 token 概率和价值误差。

实验结果

研究问题

• RQ1 在由 MCTS 指导的情况下，经过良好预训练的 LLM 是否能够在没有人类或 GPT-4 标注解的情况下生成高质量的数学推理？
• RQ2 将轻量级价值模型集成到 LLM 中是否能提升逐步推理和整体解题表现？
• RQ3 逐步束搜索是否是生产部署中对完整 MCTS 的有效且高效的替代方案？
• RQ4 在领域内和领域外的数学数据集上，AlphaMath 的表现如何，在没有外部标注过程的情况下？
• RQ5 AlphaMath 是否能在数学推理任务中提升领域特定和通用目的的 LLM，包含 SFT 模型？

主要发现

• AlphaMath 在领域内数据集（GSM8K、MATH）和领域外数据集（GaoKao2023、OCWCourses、GK2023）上取得与最先进方法相竞争或更优的结果，且无需 GPT-4 或人工标注解。
• 结合逐步级价值模型与逐步束搜索，相较贪心解码和纯 MCTS，显著提升推理性能，且随着束宽增大性能提升。
• 基于 MCTS 指导的自我进化的迭代训练在各轮次中提升了解答质量，表明自生成数据的质量随着轮次数增加而提高。
• 该方法同时有益于领域特定模型（如 DeepSeekMath-Base-7B）和通用/ SFT 模型（如 Llama3、MARIO），显示出广泛的适用性。
• 逐步束搜索在性能与计算之间提供了有利的权衡，能够在降低延迟的同时实现接近 MCTS 级别的推理。