[论文解读] Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models

Sarah Zhang, Samuel Florin+13 more|arXiv (Cornell University)|Jun 15, 2023

Oil and Gas Production Techniques被引用 18

一句话总结

本文基于 MIT Math 与 EECS 构建了一个 4,550 问题的数据集，评估大语言模型在满足毕业要求方面的能力，并通过自动评分和问题嵌入揭示课程设计的洞见。

ABSTRACT

We curate a comprehensive dataset of 4,550 questions and solutions from problem sets, midterm exams, and final exams across all MIT Mathematics and Electrical Engineering and Computer Science (EECS) courses required for obtaining a degree. We evaluate the ability of large language models to fulfill the graduation requirements for any MIT major in Mathematics and EECS. Our results demonstrate that GPT-3.5 successfully solves a third of the entire MIT curriculum, while GPT-4, with prompt engineering, achieves a perfect solve rate on a test set excluding questions based on images. We fine-tune an open-source large language model on this dataset. We employ GPT-4 to automatically grade model responses, providing a detailed performance breakdown by course, question, and answer type. By embedding questions in a low-dimensional space, we explore the relationships between questions, topics, and classes and discover which questions and classes are required for solving other questions and classes through few-shot learning. Our analysis offers valuable insights into course prerequisites and curriculum design, highlighting language models' potential for learning and improving Mathematics and EECS education.

研究动机与目标

• 推动对 LLMs 在 MIT Mathematics 与 EECS 毕业要求方面的评估。
• 汇集来自 MIT 课程的问题与解答，形成全面的数据集。
• 评估 GPT-3.5 与 GPT-4 在解决和评分 MIT 问题上的表现。
• 通过低维嵌入和少量学习探索课程关系。
• 为课程设计提供见解，并探讨 LLMs 的潜在教育应用。

提出的方法

• 汇集来自 MIT Math 和 EECS 课程的 4,550 道题目及解答的数据集。
• 评估 GPT-3.5 与 GPT-4 在全课程范围内解决问题的能力。
• 在该数据集上对开源 LLM 进行微调。
• 使用 GPT-4 自动评分模型回答，并按课程、问题和答案类型分解性能。
• 将问题嵌入低维空间，以分析问题、主题和类别之间的关系。
• 应用少量样本学习来评估前置条件和跨班级的可解性。

实验结果

研究问题

• RQ1 LLMs 是否能够解决覆盖 MIT Mathematics 与 EECS 的题目以满足毕业要求？
• RQ2 GPT-3.5 和 GPT-4 在解决 MIT 题目集数据上的表现如何？
• RQ3 对开源 LLM 进行微调是否能提高其对 MIT 问题求解任务的对齐度？
• RQ4 基于嵌入的分析揭示了哪些前置条件结构和课程设计信息？
• RQ5 通过 GPT-4 的自动评分能否提供详细的、按课程划分的性能洞见？

主要发现

• GPT-3.5 解决了 MIT 课程大约三分之一的题目。
• 在排除图像题的测试集中，通过提示工程，GPT-4 实现了完美的解题率。
• 在该数据集上对开源 LLM 进行微调是可行且信息丰富的。
• GPT-4 能自动评分模型回答，并按课程、问题和答案类型提供性能分解。
• 低维嵌入揭示问题、主题和类别之间的关系，并通过少量学习帮助识别前置条件结构。
• 该分析为课程设计及 LLM 在学习和提升数学与计算机科学教育中的作用提供洞见。