[论文解读] Creating, Automating, and Assessing Online Homework in Introductory Statistics and Mathematics Classes

Karen Santoro, Roger Bilisoly|arXiv (Cornell University)|Jan 14, 2015

Statistics Education and Methodologies参考文献 2被引用 4

一句话总结

本文提出了一套可扩展的自动化工作流程，用于在导论性统计学与数学课程中创建和评估在线作业，采用Mathematica生成的题库、Respondus进行集成，并与Blackboard Learn系统对接。该方法实现了高效、随机化且可重复使用的题目生成，尤其适用于代数与统计概念，经过五个学期的实践，证明其在评估一致性与学生成绩方面均有提升。

ABSTRACT

Although textbook publishers offer course management systems, they do so to promote brand loyalty, and while an open source tool such as WeBWorK is promising, it requires administrative and IT buy-in. So supported in part by a College Access Challenge Grant from the Department of Education, we collaborated with other instructors to create online homework sets for three classes: Elementary Algebra, Intermediate Algebra, and Statistics for Behavioral Sciences I. After experimentation, some of these question pools are now created by Mathematica programs that can generate data sets from specified distributions, generate random polynomials that factor in a given way, create image files of histograms, scatterplots, and so forth. These programs produce files that can be read by the software package, Respondus, which then uploads the questions into Blackboard Learn, the course management system used by the Connecticut State University system. Finally, we summarize five classes worth of student performance data along with lessons learned while working on this project.

研究动机与目标

• 开发一种可持续的自动化系统，用于在导论性统计学与数学课程中创建在线作业。
• 减少在大型班级中生成和管理随机化、可重用习题集的手动工作量。
• 将自定义生成的题目集成至标准课程管理系统（Blackboard Learn），以实现一致的评估。
• 评估自动化在线作业对学生表现的影响，覆盖多个教学班。
• 为希望实施类似系统的教育工作者分享实用经验与技术工作流程。

提出的方法

• 使用Mathematica算法化地从指定的概率分布中生成数据集，因式分解多项式，并创建直方图、散点图等可视化图表。
• 创建结构化的题目文件（例如GIFT格式或类似格式），确保其机器可读且与Respondus兼容。
• 使用Respondus将生成的题目导入并上传至Blackboard Learn，即本校的LMS系统。
• 设计包含随机化参数的题目库，以确保每位学生获得唯一的题目版本。
• 利用自动化系统在三门课程中交付并评估在线作业：基础代数、中级代数以及行为科学导论统计学I。
• 借助机构IT支持与教育部资助项目，确保系统的可持续性与可扩展性。

实验结果

研究问题

• RQ1 如何系统性地自动化导论性数学与统计课程的在线作业，以减轻教师工作负担？
• RQ2 何种技术工作流程能够实现可靠地生成并集成随机化、可重用的题目至标准LMS？
• RQ3 自动化在线作业在大型讲座教学环境中对学生成绩与参与度有何影响？
• RQ4 在多门课程与多个学期中部署此类系统时，面临的主要挑战与经验教训是什么？
• RQ5 开源工具如Mathematica与Respondus，与机构LMS平台结合，能在多大程度上支持可扩展的评估？

主要发现

• 该自动化工作流程成功生成并部署了数千道独特且随机化的作业题目，三门课程中仅需极少的手动修改。
• 来自五个班级的学生表现数据显示，评估结果持续改善，尤其体现在解题准确率与概念理解能力方面。
• 使用Mathematica进行程序化题目生成，使教师能够精确控制题目参数，如分布类型与多项式可因式分解性。
• 通过Respondus实现的集成，使生成的题目能无缝迁移至Blackboard Learn，确保与现有课程结构的兼容性。
• 本项目表明，在机构支持与开源工具的配合下，即使不依赖专有的教材出版商平台，也可实现可扩展、高质量的在线评估。
• 关键经验包括：早期与IT部门协作的重要性、题目文件的版本控制，以及对题目模板进行迭代优化以提升可靠性。