[论文解读] Digital interventions and habit formation in educational technology

Keshav Agrawal, Susan Athey+2 more|arXiv (Cornell University)|Oct 16, 2023

Child Development and Digital Technology被引用 4

一句话总结

本研究评估了一项在印度英语阅读应用程序中实施的基于竞赛的数字干预措施，发现12周的排行榜竞赛并辅以书籍奖励后，故事阅读量提升了75%，留存率提高了1.3个百分点，表明此类游戏化激励措施可在不削弱内在动机的前提下，成功培养持久的阅读习惯。

ABSTRACT

As online educational technology products have become increasingly prevalent, rich evidence indicates that learners often find it challenging to establish regular learning habits and complete their programs. Concurrently, online products geared towards entertainment and social interactions are sometimes so effective in increasing user engagement and creating frequent usage habits that they inadvertently lead to digital addiction, especially among youth. In this project, we carry out a contest-based intervention, common in the entertainment context, on an educational app for Indian children learning English. Approximately ten thousand randomly selected learners entered a 100-day reading contest. They would win a set of physical books if they ranked sufficiently high on a leaderboard based on the amount of educational content consumed. Twelve weeks after the end of the contest, when the treatment group had no additional incentives to use the app, they continued their engagement with it at a rate 75\% higher than the control group, indicating a successful formation of a reading habit. In addition, we observed a 6\% increase in retention within the treatment group. These results underscore the potential of digital interventions in fostering positive engagement habits with educational technology products, ultimately enhancing users' long-term learning outcomes.

研究动机与目标

• 评估基于竞赛的数字干预措施是否能通过教育类应用程序在儿童中培养长期阅读习惯。
• 考察书籍等奖励等外部激励是否会削弱内在阅读动机，还是反而增强其动机。
• 评估游戏化干预措施在激励措施取消后对应用使用率和留存率的持续影响。
• 为低收入教育环境中可扩展的低成本数字教育干预措施提供实证证据。
• 探索游戏化在促进教育科技平台持续参与方面的有效性。

提出的方法

• 在七批学校参与的约10,000名儿童中开展了随机对照试验。
• 接受干预的学生参与了为期100天的阅读竞赛，设有排行榜，前1,000名优胜者将获得书籍奖励。
• 结果变量包括阅读的故事数量和应用留存率，于竞赛结束后12周内测量，期间不再提供额外激励。
• 使用泊松回归模型分析困难故事的阅读数量，将干预作为关键预测变量。
• 采用Cox比例风险模型估算留存概率，同时考虑用户流失时间。
• 数据已匿名化处理，并剔除故事完成度最高的0.1%极端异常值，以减少仪器误差。

实验结果

研究问题

• RQ1 基于竞赛的数字干预措施是否能提升教育类阅读应用的短期参与度？
• RQ2 此类干预措施是否能在激励措施取消后仍带来应用使用率的持续提升？
• RQ3 在游戏化环境中使用外部奖励是否会削弱儿童的内在阅读动机？
• RQ4 在缺乏持续激励的情况下，该干预措施在多大程度上提升了长期留存率？
• RQ5 低成本、可扩展的数字干预措施是否能有效在低收入教育环境中培养儿童的阅读习惯？

主要发现

• 在无进一步激励的12周后测期内，接受干预的学生平均比对照组多阅读0.30个故事（p < 0.05）。
• 在后测阶段，干预组比对照组多阅读75%的故事，对照组平均为0.40个故事。
• 与对照组19%的留存率相比，干预组在12周内保持活跃的可能性高出1.3个百分点。
• 在竞赛期间，干预组学生比对照组多阅读0.96个故事（p < 0.05），较对照组平均2.12个故事提升了45%。
• 干预组与对照组在随机化前的应用使用情况无显著差异（p = 0.316），支持随机化平衡性。
• 结果表明，竞赛并未削弱内在动机，因为激励结束后参与度仍保持较高水平。