[论文解读] Exploring the Potential of Large Language Models to Generate Formative Programming Feedback

Natalie Kiesler, Dominic Lohr+1 more|arXiv (Cornell University)|Aug 31, 2023

Software Engineering Research被引用 4

一句话总结

本研究探讨了大型语言模型（LLMs），特别是ChatGPT，在为入门级编程学生生成形成性编程反馈方面的潜力。基于一门CS1课程中真实的学生代码序列，作者评估了ChatGPT提供反馈和正确解决方案的有效性，发现其在部分任务中表现尚可，但警告称，若缺乏适当指导，误导性信息可能使初学者产生误解。

ABSTRACT

Ever since the emergence of large language models (LLMs) and related applications, such as ChatGPT, its performance and error analysis for programming tasks have been subject to research. In this work-in-progress paper, we explore the potential of such LLMs for computing educators and learners, as we analyze the feedback it generates to a given input containing program code. In particular, we aim at (1) exploring how an LLM like ChatGPT responds to students seeking help with their introductory programming tasks, and (2) identifying feedback types in its responses. To achieve these goals, we used students' programming sequences from a dataset gathered within a CS1 course as input for ChatGPT along with questions required to elicit feedback and correct solutions. The results show that ChatGPT performs reasonably well for some of the introductory programming tasks and student errors, which means that students can potentially benefit. However, educators should provide guidance on how to use the provided feedback, as it can contain misleading information for novices.

研究动机与目标

• 考察大型语言模型（如ChatGPT）在学生寻求帮助解决入门级编程任务时的响应方式。
• 识别并分类LLM针对学生代码生成的反馈类型。
• 评估LLM生成的反馈对于编程初学者的可靠性与教育价值。
• 强调LLM反馈中存在错误信息的风险，以及教育者指导的必要性。

提出的方法

• 本研究使用从一门CS1课程中收集的学生编程序列作为ChatGPT的输入。
• 通过在代码提交旁提出具体问题，获取反馈和正确解决方案。
• 对LLM的响应进行分析，以识别反馈类型，并评估其准确性和帮助性。
• 分析聚焦于常见的入门级编程错误和任务类型。
• 研究人员根据正确性、清晰度和教学相关性来评估反馈质量。

实验结果

研究问题

• RQ1 ChatGPT在应对入门级编程任务中的学生代码提交时如何响应？
• RQ2 当被要求纠正学生代码时，ChatGPT会生成哪些类型的反馈？
• RQ3 ChatGPT为初学者编程错误提供的反馈在多大程度上准确且有帮助？
• RQ4 LLM生成的反馈在哪些方面可能误导初学者？

主要发现

• 对于部分入门级编程任务和常见学生错误，ChatGPT生成了相对准确的反馈。
• 在某些情况下，该模型提供的反馈具有帮助性，尤其针对基本编程结构中的语法和逻辑错误。
• 然而，该模型偶尔会提供错误或误导性反馈，尤其是在处理更复杂或模糊的代码时。
• 反馈质量在很大程度上取决于输入的清晰度以及编程错误的性质。
• 本研究突显了初学者在缺乏批判性评估的情况下可能接受错误反馈的风险。