[论文解读] Beyond A/B Testing: Sequential Randomization for Developing Interventions in Scaled Digital Learning Environments

Timothy NeCamp, Josh Gardner+1 more|arXiv (Cornell University)|Oct 26, 2018

Online Learning and Analytics参考文献 27被引用 5

一句话总结

本文提出了顺序随机试验（SRTs），作为一种新颖的实验设计，用于在大规模数字学习环境（SDLEs）中开发自适应、个性化的干预措施，克服了传统A/B测试的局限性。通过在整个课程过程中多次重新随机分配学习者，SRTs使研究人员能够识别干预措施的最佳顺序、时机和个性化策略——在一项案例研究中，展示了文化定制的电子邮件提醒可提高数据科学MOOC中学习者的参与度。

ABSTRACT

Randomized experiments ensure robust causal inference that are critical to effective learning analytics research and practice. However, traditional randomized experiments, like A/B tests, are limiting in large scale digital learning environments. While traditional experiments can accurately compare two treatment options, they are less able to inform how to adapt interventions to continually meet learners' diverse needs. In this work, we introduce a trial design for developing adaptive interventions in scaled digital learning environments -- the sequential randomized trial (SRT). With the goal of improving learner experience and developing interventions that benefit all learners at all times, SRTs inform how to sequence, time, and personalize interventions. In this paper, we provide an overview of SRTs, and we illustrate the advantages they hold compared to traditional experiments. We describe a novel SRT run in a large scale data science MOOC. The trial results contextualize how learner engagement can be addressed through inclusive culturally targeted reminder emails. We also provide practical advice for researchers who aim to run their own SRTs to develop adaptive interventions in scaled digital learning environments.

研究动机与目标

• 为解决传统A/B测试在大规模数字学习环境（SDLEs）中的局限性，即单次随机化无法捕捉动态、自适应干预需求。
• 开发一种试验设计，支持基于学习者需求和行为演变的干预措施顺序、时机和个性化。
• 为研究人员提供一个实用框架，用于在SDLEs中设计和实施SRTs，以基于证据开发自适应干预措施。
• 通过一项关于MOOC中电子邮件提醒干预的真实案例研究，展示SRTs的实用性，表明通过文化定制信息可提高学习者参与度。

提出的方法

• 提出顺序随机试验（SRTs），即学习者在整个课程过程中被多次重新随机分配到不同的干预选项。
• 通过重复随机化比较各种干预措施的顺序，以识别最优的时机和个性化策略。
• 使用课程中期变量（如近期活动）作为个性化潜在调节变量，实现超越基线人口统计特征的动态适应。
• 在真实MOOC环境中应用SRTs——即基于问题的电子邮件提醒Coursera研究（PERCS），以评估文化定制的电子邮件干预。
• 在多个时间点（如第2周与第3周）分析治疗效果，以确定特定干预措施最有效的时机。
• 采用多波随机化策略，即每周初对所有用户重新随机化，从而实现对不同时段电子邮件序列的比较。

实验结果

研究问题

• RQ1 在SDLE中，实验设计如何能更好地支持随学习者行为演变而发展的自适应干预？
• RQ2 与单次随机化的A/B测试相比，多次重新随机化学习者在评估干预措施顺序和时机方面有何优势？
• RQ3 课程中期的行为变量（如近期活动）能否有效用于个性化干预？与基线人口统计变量相比效果如何？
• RQ4 在大规模MOOC中，使用文化定制信息的电子邮件提醒如何影响学习者参与度？
• RQ5 在真实数字学习环境中设计和分析SRTs的实际考虑因素和方法步骤是什么？

主要发现

• SRTs能够发现最优的治疗序列和时机，例如识别出某些电子邮件干预在课程第2周比第3周更有效。
• PERCS研究显示，文化定制的提醒邮件提高了学习者参与度，证据表明对印度和美国学习者的影响存在差异。
• 重新随机化使研究人员能够识别出课程中期的调节变量（如近期用户活动），从而实现超越静态基线特征的动态个性化。
• 研究发现，邮件内容的字数会影响干预效果，表明语言设计是干预成功的关键因素。
• SRTs支持在单次试验中识别多种治疗序列，减少了对多个连续实验的需求。
• PERCS的结果支持后续进行确认性A/B测试，聚焦于表现优异的治疗序列，以验证其对课程完成率和学业表现的长期影响。