[论文解读] Computing with Codio at Coventry University: Online virtual Linux boxes and automated formative feedback

David Croft, Matthew England|arXiv (Cornell University)|Dec 10, 2018

Online Learning and Analytics参考文献 3被引用 4

一句话总结

本论文介绍了考文垂大学在其本科编程课程中整合Codio——一种基于云的平台，提供在线虚拟Linux环境和自动化形成性反馈——的实践。该系统通过自动化测试学生代码，提供即时且一致的反馈，从而提升学生表现、满意度及参与度跟踪，尽管面临机构政策限制和初期开发开销的挑战。

ABSTRACT

We describe our experience using Codio at Coventry University in our undergraduate programming curriculum. Codio provides students with online virtual Linux boxes, and allows staff to equip these with guides written in markdown and supplemental tasks that provide automated feedback. The use of Codio has coincided with a steady increase in student performance and satisfaction as well as far greater data on student engagement and performance.

研究动机与目标

• 解决大规模编程课程中形成性反馈不一致、延迟和资源密集的问题。
• 通过480多名一年级学生的入门编程课程，提升学生参与度和表现。
• 在不同教学人员和学生技能水平下，提供一致且即时的反馈。
• 通过自动跟踪任务耗时和任务完成情况，实现对学生进度的更好监控。

提出的方法

• 将Codio的基于云的虚拟Linux主机作为所有学生的标准化开发环境进行部署。
• 创建包含嵌入式编码任务的交互式Markdown格式指南，触发自动化反馈。
• 通过单元测试实现实时自动化测试，评估学生代码提交。
• 尽管存在机构限制，仍将Codio与大学现有的虚拟学习环境（VLE）集成，用于课程管理。
• 利用Codio的分析功能跟踪学生参与度，包括每周耗时和任务完成率。
• 采用Coderunner作为补充工具，通过单元测试在大学自有的Moodle基础设施中实现自动化总结性评估。

实验结果

研究问题

• RQ1 在基于云的虚拟环境中，自动化形成性反馈是否能提升大规模本科编程课程的学生表现？
• RQ2 与传统实验课教学相比，使用Codio对学生参与度和满意度有何影响？
• RQ3 自动化反馈在多大程度上减轻了教学人员的负担，同时保持评估的一致性？
• RQ4 在将Codio等第三方平台集成到大学现有教育基础设施时，会遇到哪些机构和技术创新挑战？

主要发现

• 学生平均表现显著提升，测验成绩从57%提高到63%，考试成绩从51%提高到59%，Codio实施后有所改善。
• 学生满意度从82%上升至89%，在自由文本评论中，84%的关于Codio的反馈为正面。
• 参与度跟踪揭示了详细的任务耗时数据，学生个体活动模式随时间可视化呈现。
• 有编程经验的学生常对Codio表示批评，因其限制使用首选IDE，凸显了标准化与灵活性之间的权衡。
• 尽管存在技术和行政障碍，Codio仍实现了跨12名不同教师和40次实验课的一致、可扩展的反馈。
• 大学现正通过Coderunner（Codio评估引擎的本地托管开源替代方案）将自动化评估扩展至总结性作业。