[论文解读] From Human Days to Machine Seconds: Automatically Answering and Generating Machine Learning Final Exams

Iddo Drori, Sarah Zhang+14 more|arXiv (Cornell University)|Jun 11, 2022

Online Learning and Analytics被引用 4

一句话总结

本文引入了一个基准数据集，包含来自顶尖大学的646道机器学习期末考试题部分，并证明大型语言模型（LLMs）通过少量 shot 提示和思维链推理，能够在人类水平上解答这些考试。模型可在数秒内生成新的高质量考试题，将教师的工作量从数天缩短至数秒。

ABSTRACT

A final exam in machine learning at a top institution such as MIT, Harvard, or Cornell typically takes faculty days to write, and students hours to solve. We demonstrate that large language models pass machine learning finals at a human level, on finals available online after the models were trained, and automatically generate new human-quality final exam questions in seconds. Previous work has developed program synthesis and few-shot learning methods to solve university-level problem set questions in mathematics and STEM courses. In this work, we develop and compare methods that solve final exams, which differ from problem sets in several ways: the questions are longer, have multiple parts, are more complicated, and span a broader set of topics. We curate a dataset and benchmark of questions from machine learning final exams available online and code for answering these questions and generating new questions. We show how to generate new questions from other questions and course notes. For reproducibility and future research on this final exam benchmark, we use automatic checkers for multiple-choice, numeric, and questions with expression answers. We perform ablation studies comparing zero-shot learning with few-shot learning and chain-of-thought prompting using GPT-3, OPT, Codex, and ChatGPT across machine learning topics and find that few-shot learning methods perform best. We highlight the transformative potential of language models to streamline the writing and solution of large-scale assessments, significantly reducing the workload from human days to mere machine seconds. Our results suggest that rather than banning large language models such as ChatGPT in class, instructors should teach students to harness them by asking students meta-questions about correctness, completeness, and originality of the responses generated, encouraging critical thinking in academic studies.

研究动机与目标

• 为填补在全面、多部分期末考试上评估 LLM 的空白，这些考试在广度、复杂性和深度上与标准习题集显著不同。
• 整理一个可复现的基准，涵盖来自 MIT、哈佛大学和康奈尔大学的真实机器学习期末考试题，内容覆盖多样主题和题型。
• 开发并评估自动化方法，用于使用 LLM 解答和生成高质量、类人的期末考试题。
• 通过学生调查评估机器生成题目的质量与教学适用性，并与人工编写题目进行对比。
• 证明 LLM 可将课程评估创建与评分的教师工作量从人工数天缩短至机器数秒。

提出的方法

• 从 MIT、哈佛大学和康奈尔大学三所顶尖大学的三门机器学习课程期末考试中整理出 646 个题部分的数据集，涵盖理论、数学、编程和概念推理。
• 实现了针对选择题、数值题和表达式题的自动检查器，以实现对模型输出的可复现评估。
• 使用零样本、少样本和思维链提示，在多种机器学习主题和学期中评估多个 LLM（GPT-3、OPT、Codex、ChatGPT）。
• 使用文本相似度嵌入（text-similarity-babbage-001）寻找最接近的训练样本用于少样本提示，确保上下文相关性。
• 通过提示 LLM 使用现有题目和课程笔记生成新题目，利用余弦相似度确保主题一致性。
• 在评估期间固定模型超参数（temperature=0, top_p=0，无停止序列），以实现确定性、可复现的结果；在生成题目时提高多样性（temperature=0.1）。

实验结果

研究问题

• RQ1 尽管长度长、结构复杂且为多部分结构，大型语言模型是否能在人类水平上解答大学级机器学习期末考试？
• RQ2 在解答复杂、多概念期末考试题时，零样本、少样本和思维链提示策略的表现如何比较？
• RQ3 LLM 在在多大程度上能生成新颖、高质量且教学适用的期末考试题，使其与人工编写题目难以区分？
• RQ4 与人工编写题目相比，学生如何评价机器生成题目在质量、难度和真实性方面的表现？
• RQ5 自动检查器是否能以标准化方式可靠地验证 LLM 生成的答案，适用于多种题型（选择题、数值题、表达式题）？

主要发现

• 使用思维链提示的少样本学习在所有机器学习主题和学期中均表现最佳，优于零样本和标准少样本方法。
• 学生仅正确识别出 56.11% 的人工编写题目为人工编写，且仅 45% 的机器生成题目被识别为机器生成，表明其具有极强的类人真实感。
• 机器生成题目平均难度为 2.55，略低于人工编写题目的平均难度 2.85，但两者分别在 82.6% 和 85.0% 的情况下被认为适合课程。
• 调查结果显示，机器生成题目在教学适用性和质量感知上与人工编写题目相当，且在真实性感知上无显著差异。
• 解答或生成一个题部分的整个过程仅需数秒，将教师工作量从人工数天缩短至机器数秒。
• 该基准和数据集具有可复现性，通过在评估期间固定模型超参数（temperature=0, top_p=0）确保输出的确定性。