[论文解读] Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses?

Jaromír Šavelka, Arav Agarwal+3 more|arXiv (Cornell University)|Mar 16, 2023

Teaching and Learning Programming参考文献 33被引用 7

一句话总结

GPT 模型（text-davinci-003）无法通过完整的 Python 课程评估范围，但可以获得相当大的一部分总体分数，表明其潜力更适合作为学习助手，而非完全的解题者。

ABSTRACT

We evaluated the capability of generative pre-trained transformers (GPT), to pass assessments in introductory and intermediate Python programming courses at the postsecondary level. Discussions of potential uses (e.g., exercise generation, code explanation) and misuses (e.g., cheating) of this emerging technology in programming education have intensified, but to date there has not been a rigorous analysis of the models' capabilities in the realistic context of a full-fledged programming course with diverse set of assessment instruments. We evaluated GPT on three Python courses that employ assessments ranging from simple multiple-choice questions (no code involved) to complex programming projects with code bases distributed into multiple files (599 exercises overall). Further, we studied if and how successfully GPT models leverage feedback provided by an auto-grader. We found that the current models are not capable of passing the full spectrum of assessments typically involved in a Python programming course (<70% on even entry-level modules). Yet, it is clear that a straightforward application of these easily accessible models could enable a learner to obtain a non-trivial portion of the overall available score (>55%) in introductory and intermediate courses alike. While the models exhibit remarkable capabilities, including correcting solutions based on auto-grader's feedback, some limitations exist (e.g., poor handling of exercises requiring complex chains of reasoning steps). These findings can be leveraged by instructors wishing to adapt their assessments so that GPT becomes a valuable assistant for a learner as opposed to an end-to-end solution.

研究动机与目标

• 评估 GPT 在真实高等教育课程中使用的 Python 课程评估（多项选择题和编码任务）的全景能力。
• 评估 GPT 利用自动评分反馈来提升解题能力的能力。
• 识别对编程教育中的教学设计与评估安全性的局限性及其影响。

提出的方法

• 使用 text-davinci-003（GPT-3.5 系列）进行多项选择题提示（温度 0.0，max_tokens 500）和编码任务提示（max_tokens 高达 2000，温度 0.7）。
• 应用与人类学习者相同的评估方案，包括自动评分反馈和迭代提交。
• 数据集包含来自三个 Python 课程（PE1、PE2 和 PPP）的 599 道练习题（多项选择题和编码任务）。
• 将 GPT 的表现与较早模型（text-davinci-002）进行比较以衡量进展。
• 分析 GPT 是否能够通过课程级评估以及反馈如何影响纠错。

实验结果

研究问题

• RQ1 RQ1：GPT 生成对用于入门和中级 Python 课程的多项选择题评估的正确答案的可靠性如何？
• RQ2 RQ2：GPT是否能够根据人类指令来稳定地给出复杂 Python 编码任务的解答？
• RQ3 RQ3：GPT 能否有效利用自动评分反馈来改进有缺陷的解答？

主要发现

• GPT-3.5（text-davinci-003）回答了 530 道多项选择题中的 341 道（64.3%），较早模型（td-002）的 301/530（56.8%）有所提升。
• 在 PE1 中，td-003 仅通过了第一个模块，整体平均得分 56.1%，随后模块测试未通过。
• 在 PE2 中，td-003 通过了 4 个模块中的 3 个，整体平均 67.9%（Summary Test 为 65.0%）。
• 在 PPP 中，GPT 通过了该课程单位中的 4/8 单元，按所给评分方案获得总体 67.3%（课程总分），项目和反思分量权重分别为 0.8 和 0.2。
• GPT 展示了通过自动评分反馈改进的能力（例如项目分数在第一次提交为 53.6% 提升到修订后为 66.4%）；然而，在需要长链推理或对输出的细微理解的任务上仍有困难。
• 局限性包括在需要复杂推理步骤、多工件整合或需要对非平凡输出进行验证的练习中的困难。