[论文解读] Engaging with Massive Online Courses

Ashton Anderson, Daniel P. Huttenlocher+2 more|arXiv (Cornell University)|Mar 12, 2014

Online Learning and Analytics参考文献 10被引用 57

一句话总结

本文利用六门斯坦福大学Coursera课程的追踪数据，提出了一种大规模开放在线课程（MOOC）中学生参与风格的分类体系，识别出五种独特的行为模式。此外，通过一项大规模随机实验，进一步评估了徽章设计对论坛参与度的影响，发现提高徽章的显眼程度能显著提升参与度，表明激励系统中的细微设计调整可显著影响在线教育平台中的用户行为。

ABSTRACT

The Web has enabled one of the most visible recent developments in education---the deployment of massive open online courses. With their global reach and often staggering enrollments, MOOCs have the potential to become a major new mechanism for learning. Despite this early promise, however, MOOCs are still relatively unexplored and poorly understood. In a MOOC, each student's complete interaction with the course materials takes place on the Web, thus providing a record of learner activity of unprecedented scale and resolution. In this work, we use such trace data to develop a conceptual framework for understanding how users currently engage with MOOCs. We develop a taxonomy of individual behavior, examine the different behavioral patterns of high- and low-achieving students, and investigate how forum participation relates to other parts of the course. We also report on a large-scale deployment of badges as incentives for engagement in a MOOC, including randomized experiments in which the presentation of badges was varied across sub-populations. We find that making badges more salient produced increases in forum engagement.

研究动机与目标

• 理解MOOC中超越传统课程模式的多样化学生参与模式。
• 基于观看课程视频和提交作业的频率，建立基于数据的参与风格分类体系。
• 研究论坛参与度与学业表现及参与风格之间的相关性。
• 评估徽章设计对学生在MOOC讨论区参与度的影响。
• 通过受控实验检验徽章展示方式（如可见性、社交信号）的变化是否会影响用户行为。

提出的方法

• 作者为每位学生计算了‘作业占比’，用以衡量已完成活动中作业所占比例与课程视频的比例。
• 通过在作业占比与课程完成率上应用k-means聚类，识别出五种不同的参与风格。
• 在一门大型MOOC中开展大规模随机实验，对子群体的徽章展示方式进行差异处理：对照组、以里程碑为重点的徽章组、以及具有社交可见性的徽章组。
• 实验测量了各处理组在论坛参与度上的变化，包括发帖数量和活动时长。
• 通过统计分析比较各组之间的参与度水平，以评估徽章设计的因果影响。
• 本研究利用六门课程中超过10万名学生的追踪数据，实现了大规模行为分析。

实验结果

研究问题

• RQ1 MOOC学习者中占主导地位且反复出现的参与风格是什么？它们在互动模式上如何不同？
• RQ2 不同参与风格与学生学业表现及完成率之间有何相关性？
• RQ3 在多大程度上，徽章设计能够影响学生在MOOC讨论区的参与度？
• RQ4 徽章展示方式的变化（如强调里程碑或社交可见性）是否会产生可测量的参与度差异？
• RQ5 驱动徽章在激励在线学习行为方面有效的心理机制是什么？

主要发现

• 识别出五种截然不同的参与风格：‘学习者’、‘旁听者’、‘完成者’、‘被动者’和‘高绩效者’，每种风格由课程观看与作业提交的独特平衡定义。
• 作业占比更高的学生更有可能取得更高成绩，表明主动提交作业与学业表现有很强的相关性。
• 随机实验表明，提高徽章的显眼程度——尤其是突出里程碑进度——能显著提升论坛参与度。
• ‘社交可见性’处理组（即公开显示徽章）相比对照组，论坛活动量也出现了统计上显著的增加。
• 即使徽章展示的细微调整，如视觉突出程度或反馈表述方式，也对用户行为产生了可测量且显著的影响。
• 结果表明，徽章并非仅仅是装饰品，当设计得当时可成为强有力的激励工具，其有效性的心理机制复杂且可调节。