[论文解读] Innovating Computer Programming Pedagogy: The AI-Lab Framework for Generative AI Adoption

Ethan Dickey, Andres Bejarano+1 more|arXiv (Cornell University)|Aug 23, 2023

Software Engineering Research被引用 4

一句话总结

本文提出了AI-Lab框架，这是一种教学模型，旨在指导计算机科学学生在基础编程课程中负责任地整合生成式人工智能（GenAI）。通过强调提示工程、错误检测以及对GenAI输出的批判性评估，该框架在减少过度依赖的同时，保留了问题解决和算法思维等核心技能的发展，这一效果在干预后学生对GenAI可靠性的认知转变中得到体现。

ABSTRACT

Over the last year, the ascent of Generative AI (GenAI) has raised concerns about its impact on core skill development, such as problem-solving and algorithmic thinking, in Computer Science students. Preliminary anonymous surveys show that at least 48.5% of our students use GenAI for homework. With the proliferation of these tools, the academic community must contemplate the appropriate role of these tools in education. Neglecting this might culminate in a phenomenon we term the "Junior-Year Wall," where students struggle in advanced courses due to prior over-dependence on GenAI. Instead of discouraging GenAI use, which may unintentionally foster covert usage, our research seeks to answer: "How can educators guide students' interactions with GenAI to preserve core skill development during their foundational academic years?" We introduce "AI-Lab," a pedagogical framework for guiding students in effectively leveraging GenAI within core collegiate programming courses. This framework accentuates GenAI's benefits and potential as a pedagogical instrument. By identifying and rectifying GenAI's errors, students enrich their learning process. Moreover, AI-Lab presents opportunities to use GenAI for tailored support such as topic introductions, detailed examples, corner case identification, rephrased explanations, and debugging assistance. Importantly, the framework highlights the risks of GenAI over-dependence, aiming to intrinsically motivate students towards balanced usage. This approach is premised on the idea that mere warnings of GenAI's potential failures may be misconstrued as instructional shortcomings rather than genuine tool limitations. Additionally, AI-Lab offers strategies for formulating prompts to elicit high-quality GenAI responses. For educators, AI-Lab provides mechanisms to explore students' perceptions of GenAI's role in their learning experience.

研究动机与目标

• 解决生成式人工智能在基础计算机科学课程中可能削弱问题解决和算法思维等核心编程技能的日益增长的担忧。
• 应对“大三墙”现象，即学生因在早期学期过度依赖GenAI而在高阶课程中遇到困难。
• 指导教育者将GenAI从潜在的学术诚信风险转变为结构化教育整合下的建设性学习工具。
• 通过强调错误检测、提示优化和情境理解，引导学生将GenAI从捷径认知转变为批判性思维辅助工具。
• 为教育者提供工具，基于实证调查数据评估并塑造学生对GenAI在学习中角色的认知。

提出的方法

• AI-Lab框架将GenAI作为分阶段学习伙伴整合，鼓励学生使用它进行主题引入、代码示例、边界情况识别、解释重述以及调试协助。
• 学生接受系统性提示工程技巧培训，以获取更高质量、更准确的GenAI响应，从而减少幻觉和错误。
• 该框架强调对GenAI输出的批判性评估，训练学生识别并纠正错误——将GenAI的使用转化为一种主动学习过程。
• 教育者通过干预前后的调查问卷评估学生对GenAI可靠性及使用模式认知的变化。
• 该框架将GenAI的使用嵌入结构化的课程流程中，确保其支持而非取代认知技能的发展。
• 该方法避免全面禁止，转而通过透明化呈现GenAI的优势与局限，促进内在动机。

实验结果

研究问题

• RQ1 教育者如何指导学生以保护核心编程技能（如问题解决和算法思维）的方式使用生成式人工智能？
• RQ2 结构化GenAI整合对学生对可靠性及过度依赖认知的影响是什么？
• RQ3 GenAI在不损害基础学习的前提下，如何作为个性化支持的教育工具被有效利用？
• RQ4 提示工程与错误检测应如何作为有效GenAI使用在编程教育中的核心组成部分进行教学？
• RQ5 学生认知在塑造负责任的GenAI采用行为中扮演何种角色？教育者如何建设性地影响这一认知？

主要发现

• 实施AI-Lab框架后，6.9%的学生将GenAI评为‘非常可靠’（5分制量表中的5分），较前测的2.8%显著上升，表明学生对GenAI实用性的信任度明显提升。
• 将GenAI评为‘非常不可靠’（1分）的学生比例从0%下降至10.3%，表明在经过引导使用后，学生对工具输出的信心有所增强。
• 37.1%的学生对同伴是否使用GenAI表示不确定，凸显了学术环境中工具使用模糊或未报告的普遍性。
• 该框架成功地将学生对GenAI的认知从潜在的捷径转变为需要批判性评估与优化的工具。
• 参与AI-Lab框架的学生在识别和纠正GenAI生成错误方面表现出更强的能力，强化了认知参与而非被动接受。
• 本研究证实，结构化GenAI整合可通过在早期学期培养元认知技能和负责任的工具使用习惯，降低‘大三墙’现象的风险。