[论文解读] Let GPT be a Math Tutor: Teaching Math Word Problem Solvers with Customized Exercise Generation

Zhenwen Liang, Wenhao Yu+4 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用 6

一句话总结

本文提出 CEMAL，一种知识蒸馏框架，利用 GPT-3 作为个性化数学家教，根据学生模型的学习缺口生成定制化练习题。通过迭代评估学生表现并生成与知识追踪原则一致的针对性问题，CEMAL 在显著减少参数量的前提下，提升了学生模型在数学应用题上的准确率。

ABSTRACT

In this paper, we present a novel approach for distilling math word problem solving capabilities from large language models (LLMs) into smaller, more efficient student models. Our approach is designed to consider the student model's weaknesses and foster a tailored learning experience by generating targeted exercises aligned with educational science principles, such as knowledge tracing and personalized learning. Concretely, we let GPT-3 be a math tutor and run two steps iteratively: 1) assessing the student model's current learning status on a GPT-generated exercise book, and 2) improving the student model by training it with tailored exercise samples generated by GPT-3. Experimental results reveal that our approach outperforms LLMs (e.g., GPT-3 and PaLM) in accuracy across three distinct benchmarks while employing significantly fewer parameters. Furthermore, we provide a comprehensive analysis of the various components within our methodology to substantiate their efficacy.

研究动机与目标

• 为解决现有知识蒸馏方法在数学应用题求解中的局限性，特别是小模型难以从链式思维解释中学习的问题。
• 开发一种反馈驱动、关注学生的蒸馏框架，能够根据学生模型的学习状态动态调整。
• 在不需小模型执行与大模型相同复杂推理的前提下，提升小型高效学生模型在数学应用题基准上的性能。
• 将教育科学中的原则——知识追踪与个性化学习——整合到蒸馏流程中，实现更有效的模型训练。
• 证明定制化、渐进式练习生成相比静态或一次性数据增强，能带来更好的泛化能力与鲁棒性。

提出的方法

• 该方法利用 GPT-3 生成一个动态练习册，通过测试学生模型在多样化、针对性问题上的表现，评估其当前知识状态。
• 应用知识追踪技术，监控学生模型在各类问题上的表现，识别需要进一步练习的薄弱环节。
• 基于评估结果，GPT-3 生成针对学生特定学习缺口的新问题，确保实现精准提升。
• 训练过程具有渐进性：学生模型通过迭代方式使用新生成的练习题进行再训练，从而适应不断变化的知识状态。
• 该框架采用过滤机制，移除格式错误或无效的问题，以保障训练数据质量。
• 通过迭代评估与再训练循环对方法进行评估，性能在分布内与分布外基准上均被持续监控。

实验结果

研究问题

• RQ1 大型语言模型能否作为有效家教，通过生成定制化练习题，提升小型学生模型在数学应用题求解中的表现？
• RQ2 渐进式、反馈驱动的练习生成是否优于一次性数据增强或静态训练数据，在提升学生模型性能方面更具优势？
• RQ3 将知识追踪与个性化学习原则整合到蒸馏过程中，能在多大程度上增强数学应用题求解器的蒸馏效果？
• RQ4 在准确率与参数效率方面，蒸馏后学生模型的性能与大型语言模型相比如何？
• RQ5 生成练习题的质量与正确性对最终模型性能有何影响？应如何确保其质量？

主要发现

• CEMAL 在多个数学应用题基准（包括 SVAMP、AQuA 和 GSM8K）上优于所有微调与蒸馏基线模型。
• 使用 CEMAL 训练的学生模型在 SVAMP 数据集上达到具有竞争力的准确率，与 GPT-3 和 PaLM 等大模型相当或更优，同时参数量显著减少。
• 即使总训练集大小相同，渐进式、定制化训练（使用动态生成的练习题）也优于一次性数据增强，性能表现更优。
• 练习册方法取代原始训练集，能比在原始训练数据上进行验证更有效地揭示模型弱点，表明泛化能力更强。
• 该方法在分布内设置下表现出极强的有效性，定制化生成策略带来了最高的性能提升。
• 尽管输出质量较高，该方法偶尔仍会生成格式错误的问题，凸显了改进过滤与正确性验证机制的必要性。