[论文解读] How Novice Programmers Use and Experience ChatGPT when Solving Programming Exercises in an Introductory Course

Andreas Scholl, Natalie Kiesler|arXiv (Cornell University)|Jul 30, 2024

Online Learning and Analytics被引用 6

一句话总结

该研究对德国一所大学的298名计算机科学学生进行调查，考察他们如何在入门编程任务中使用 ChatGPT-3.5，以及他们对其利益与局限性的看法，揭示了多样的使用模式和态度。

ABSTRACT

This research paper contributes to the computing education research community's understanding of Generative AI (GenAI) in the context of introductory programming, and specifically, how students utilize related tools, such as ChatGPT. An increased understanding of students' use is mandatory for educators and higher education institutions, as GenAI is here to stay, and its performance is likely to improve rapidly in the near future. Learning about students' use patterns is not only crucial to support their learning, but to develop adequate forms of instruction and assessment. With the rapid advancement of AI, its broad availability, and ubiquitous presence in educational environments, elaborating how AI can enhance learning experiences, especially in courses such as introductory programming is important. To date, most studies have focused on the educator's perspective on GenAI, its performance, characteristics, and limitations. However, the student perspective, and how they actually use GenAI tools in course contexts, has not been subject to a great number of studies. Therefore, this study is guided by the following research questions: (1) What do students report on their use pattern of ChatGPT in the context of introductory programming exercises? and (2) How do students perceive ChatGPT in the context of introductory programming exercises? To address these questions, computing students at a large German university were asked to solve programming tasks with the assistance of ChatGPT as part of their introductory programming course. Students (n=298) provided information regarding the use of ChatGPT, and their evaluation of the tool via an online survey. This research provides a comprehensive evaluation of ChatGPT-3.5's application by novice programmers in a higher education context...

研究动机与目标

• 了解初级程序员在解决入门编程练习时如何使用 ChatGPT。
• 探讨学生对 ChatGPT 在课程中的有用性、准确性和实用性的看法。
• 通过概述学生的使用模式和对 GenAI 工具的态度，为教学设计与评估提供参考。

提出的方法

• 开发并提供包含使用 ChatGPT-3.5 的练习题，作为入门编程课程的一部分。
• 通过在线调查从 298 名学生那里收集数据，覆盖使用模式、获取方式和任务类型。
• 使用定量方法分析封闭性问题回答，采用定性内容分析分析开放性问题回答。
• 背景：在德国大型大学的课程，设有两小时讲座和辅导；学生在 Moodle 中提交提示-响应对。
• 任务包括递归、函数、列表、条件、字符串处理和文档编写，记录 ChatGPT-3.5 在不同子任务上的表现。

实验结果

研究问题

• RQ1 RQ1: 学生在入门编程练习情境中对 ChatGPT 的使用模式有何报告？
• RQ2 RQ2: 学生在入门编程练习情境中如何评价 ChatGPT？

主要发现

• 学生广泛采用 GenAI，其使用从接受生成的解决方案到进行批判性与互动性参与不等。
• 常见使用模式：约一半每周使用 ChatGPT，18%每日使用，大多数互动持续时间在 30 分钟以下，访问方式为 ChatGPT 网页界面。
• 学生使用 ChatGPT 进行问题理解、概念性输入、代码生成、调试、文档、测试用例、语法纠错和运行时分析。
• 对易用性的感知偏正向（中位数/平均数约为 4.0），而对准确性和相关性的看法则参差不齐（中位数约为 3，平均数约为 2.87）。
• 总体满意度通常偏正向（中位数 4，平均数 3.44），许多人会向初学者推荐 ChatGPT（中位数 4，平均数 3.63）。
• 定性分析揭示了 20 类经历（如起点、概念性输入、学习伙伴、代码与文本生成、调试、替代观点、搜索工具、响应质量、聊天记录、可用性、易用性、时间效率、知识库、社交互动、隐私担忧、过度自信、幻觉、完整性、依赖性等），强调其潜在好处与风险，如不准确、产生幻觉及依赖性。