[论文解读] Beyond the Hype: A Cautionary Tale of ChatGPT in the Programming Classroom

Grant Oosterwyk, Pitso Tsibolane+2 more|arXiv (Cornell University)|Jun 16, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本研究探讨了在本科信息系统与计算机科学编程课程中使用ChatGPT 3.5的实际影响，应用复杂自适应系统（CAS）理论分析过往学生练习中的代码生成行为。研究揭示了常见的错误类型与评估挑战，为教育工作者提供了设计更具鲁棒性的编程任务的策略，以在人工智能辅助下仍能培养学生的批判性编程能力。

ABSTRACT

Due to the proliferation of Large Language Models research and the use of various Artificial Intelligence (AI) tools, the field of information systems (IS) and computer science (CS) has evolved. The use of tools such as ChatGPT to complete various student programming exercises (e.g., in Python) and assignments has gained prominence amongst various academic institutions. However, recent literature has suggested that the use of ChatGPT in academia is problematic and the impact on teaching and learning should be further scrutinized. More specifically, little is known about how ChatGPT can be practically used with code (programming) writing to complete programming exercises amongst IS and CS undergraduate university students. Furthermore, the paper provides insights for academics who teach programming to create more challenging exercises and how to engage responsibly in the use of ChatGPT to promote classroom integrity. In this paper, we used Complex Adaptive Systems (CAS) theory as a theoretical guide to understand the various dynamics through classroom code demonstrations. Using ChatGPT 3.5, we analyzed the various practical programming examples from past IS exercises and compared those with memos created by tutors and lecturers in a university setting. This paper highlights common ways of assessment, programming errors created by ChatGPT and the potential consideration for IS academics to ensure the development of critical programming skills among students.

研究动机与目标

• 调查ChatGPT 3.5在生成信息系统与计算机科学本科课程中真实大学级别编程练习代码方面的表现。
• 识别ChatGPT在学生作业中引入的常见编程错误与逻辑缺陷。
• 探讨AI辅助代码生成对编程课程评估完整性与学习成果的影响。
• 为教育工作者提供可操作的见解，以设计更具韧性的编程练习，促进批判性思维并减少对AI的过度依赖。
• 应用复杂自适应系统（CAS）理论，理解编程课堂中学生、AI工具与教学实践之间动态互动的机制。

提出的方法

• 将复杂自适应系统（CAS）理论作为理论框架，分析课堂代码生成过程中涌现的行为特征。
• 收集并分析过往信息系统的编程练习及其对应的导师与讲师编写的说明文档，以评估其一致性与正确性。
• 使用ChatGPT 3.5为原始课程材料中使用的相同练习生成代码解决方案。
• 将AI生成的代码输出与人工编写的解决方案进行对比，以识别差异、逻辑缺陷与实现错误。
• 开展课堂示范，观察学生、AI工具与教学人员之间的实时互动。
• 通过错误模式与评估挑战的定性分析，评估AI生成代码的可靠性及其教学意义。

实验结果

研究问题

• RQ1 ChatGPT 3.5在生成信息与计算机科学本科课程中标准编程练习的正确且逻辑严谨的代码方面表现如何？
• RQ2 在解决学术编程任务时，ChatGPT最常引入哪些类型的编程错误？
• RQ3 与经验丰富的导师和讲师相比，AI生成的解决方案在正确性与教学价值方面有何差异？
• RQ4 使用ChatGPT在多大程度上损害了编程课程的评估完整性？
• RQ5 教育工作者应如何重新设计编程练习，以在保持学习成果的同时最小化对AI的过度依赖？

主要发现

• ChatGPT 3.5频繁生成语法正确但逻辑有误的代码，导致常见编程任务产生错误输出。
• 常见错误类型包括错误的循环条件、对边界情况处理不当，以及数据结构使用不当，即使提示清晰也难以避免。
• AI生成的解决方案通常缺乏清晰性、模块化设计与最佳实践，使其难以调试或扩展。
• 基于AI生成代码的评估可能奖励语法正确性，而非概念理解与问题解决能力。
• 导师与讲师的说明文档通常强调算法推理与边界情况处理，而这些在ChatGPT的输出中常常缺失。
• 本研究表明，若未经批判性评估，AI生成的代码可能损害学习效果，凸显了设计具有教学韧性的练习的必要性。