[论文解读] Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models

Avi Singh, John D. Co-Reyes+39 more|arXiv (Cornell University)|Dec 11, 2023

Topic Modeling被引用 6

一句话总结

本文提出 ReST EM，一种自训练方法，利用模型生成的合成数据和二元反馈来提升语言模型在解题任务上的表现。通过迭代生成解法、利用正确性反馈过滤结果，并在高质量输出上微调，ReST EM 显著提升了 MATH 和 APPS 基准上的性能——尤其在模型规模扩大时超越了人类数据微调，且计算成本极低，对保留任务无性能下降。

ABSTRACT

Fine-tuning language models~(LMs) on human-generated data remains a prevalent practice. However, the performance of such models is often limited by the quantity and diversity of high-quality human data. In this paper, we explore whether we can go beyond human data on tasks where we have access to scalar feedback, for example, on math problems where one can verify correctness. To do so, we investigate a simple self-training method based on expectation-maximization, which we call ReST$^{EM}$, where we (1) generate samples from the model and filter them using binary feedback, (2) fine-tune the model on these samples, and (3) repeat this process a few times. Testing on advanced MATH reasoning and APPS coding benchmarks using PaLM-2 models, we find that ReST$^{EM}$ scales favorably with model size and significantly surpasses fine-tuning only on human data. Overall, our findings suggest self-training with feedback can substantially reduce dependence on human-generated data.

研究动机与目标

• 探究语言模型是否可通过利用模型生成的合成数据与标量反馈，超越人类数据微调。
• 评估 ReST EM 在复杂解题基准（如 MATH 和 APPS）上自训练的可扩展性与有效性。
• 确定由大模型生成的合成数据是否能比人类数据更有效地提升小模型性能。
• 评估 ReST EM 对泛化能力的影响，包括在保留基准上的表现与推理能力。
• 识别过拟合与需手动设计奖励函数等局限性，并探索缓解方法。

提出的方法

• ReST EM 在两个步骤间交替进行：(1) 生成——为每个输入采样多个输出，并使用二元正确性奖励进行过滤。
• 过滤后的输出构成训练数据集，用于在 (2) 提升步骤中微调模型，该模型随后用于下一轮迭代。
• 该方法在强化学习的期望最大化理论框架下具有理论基础，将反馈视为奖励信号。
• 该方法应用于多个尺寸的 PaLM-2 模型，使用自动化验证器在 MATH 和 APPS 数据集上的反馈。
• 该过程重复进行若干轮，消融研究调整了生成样本数量、训练问题数量与迭代次数。
• 性能通过标准指标（如 pass@1、pass@5、pass@10 与多数投票）以及保留基准（如 GSM8K、匈牙利高中数学决赛与 Big-Bench Hard）进行评估。

Figure 1: Self-training with ReST EM substantially improves test performance of PaLM 2 models on two challenging benchmarks: MATH and HumanEval. Results for other models are shown for general progress on these tasks and are typically not comparable due to difference in model scales. GPT-4 results ar

实验结果

研究问题

• RQ1 使用模型生成数据与二元反馈的自训练是否能在解题任务上超越人类标注数据的微调？
• RQ2 ReST EM 在 MATH 与 APPS 基准上随模型规模增大如何扩展？
• RQ3 ReST EM 是否能提升对分布外基准（如 GSM8K、匈牙利高中数学决赛与 Big-Bench Hard）的泛化能力？
• RQ4 超参数（如生成样本数量、训练问题数量与 ReST EM 迭代次数）有何影响？
• RQ5 ReST EM 微调后的模型能否在其他任务上泛化且不出现性能下降？与 GPT-4 在真实世界考试中的表现如何比较？

主要发现

• ReST EM 在 MATH 与 APPS 基准上显著超越人类数据微调，尤其在模型规模增大时优势更明显。
• 在 MATH 上使用 ReST EM 微调的 PaLM-2-L 模型，在 2023 年匈牙利高中数学最终考试中表现超越所有先前模型，仅逊于 GPT-4，且人工评分结果优异。
• 经 ReST EM 微调的模型在 APPS 与 MATH 上的 pass@1、pass@5 与 pass@10 分数均得到提升，增益超过人类数据微调。
• 在保留基准（包括 GSM8K、匈牙利高中数学决赛与 Big-Bench Hard）上也观察到性能提升，表明泛化能力强大。
• 超过少数迭代后，性能增益趋于平缓，表明在小规模训练问题集上存在过拟合风险。
• ReST EM 未导致无关任务性能下降，且使用大模型生成的合成数据微调小模型的效果优于人类数据。

Figure 2: ReST EM for math problem-solving . Test performance on MATH and GSM8K (transfer) for PaLM 2-S* and PaLM 2-L as a function of ReST EM iterations. We also report performance of models fine-tuned via SFT on human-generated data as a baseline. Iteration 0 corresponds to pre-trained model perfo