[论文解读] Personalized Recommendations in EdTech: Evidence from a Randomized Controlled Trial

Keshav Agrawal, Susan Athey+2 more|arXiv (Cornell University)|Aug 30, 2022

Recommender Systems and Techniques被引用 10

一句话总结

本研究通过随机对照试验评估了一款面向印度儿童学习英语阅读技能的教育科技（EdTech）应用中个性化内容推荐的效果。基于用户偏好和互动历史，采用矩阵分解模型对故事推荐进行个性化定制，使个性化内容板块的参与度提升了60%，整体应用使用时长增加14%，其中重度用户和偏好小众内容的用户受益最为显著。

ABSTRACT

We study the impact of personalized content recommendations on the usage of an educational app for children. In a randomized controlled trial, we show that the introduction of personalized recommendations increases the consumption of content in the personalized section of the app by approximately 60%. We further show that the overall app usage increases by 14%, compared to the baseline system where human content editors select stories for all students at a given grade level. The magnitude of individual gains from personalized content increases with the amount of data available about a student and with preferences for niche content: heavy users with long histories of content interactions who prefer niche content benefit more than infrequent, newer users who like popular content. To facilitate the move to personalized recommendation systems from a simpler system, we describe how we make important design decisions, such as comparing alternative models using offline metrics and choosing the right target audience.

研究动机与目标

• 评估个性化内容推荐在真实世界教育科技应用中对儿童学习英语用户参与度的影响。
• 评估个性化推荐是否优于人工编辑的编辑内容，以提升应用使用率。
• 理解不同用户子群体中处理效应的异质性，特别是基于使用频率和内容偏好的差异。
• 为在低数据教育环境中设计和部署个性化推荐系统提供实用框架。
• 探讨在学习指标难以获取的场景下，推荐系统中优化参与度与长期学习成果之间的权衡。

提出的方法

• 开展为期两周的随机对照试验（RCT），实验组接收个性化推荐，对照组接收编辑人工推荐内容。
• 使用矩阵分解模型，基于用户互动历史和偏好生成个性化故事推荐。
• 根据曝光频率构建故事流行度分组，并使用线性回归调整用户层面协变量（年级、类型、过往使用情况），以隔离处理效应。
• 通过‘故事参与度’这一复合指标衡量参与度，该指标反映用户停留时间和完成率，覆盖不同用户和内容子群体。
• 在离线阶段使用均方根误差（RMSE）和曲线下面积（AUC）等指标评估模型性能，以指导模型选择。
• 评估对整体应用使用率的影响，以判断个性化内容板块使用增加是否带来总参与度的净增长。

实验结果

研究问题

• RQ1 与编辑推荐相比，个性化内容推荐是否能提升教育类应用中的用户参与度？
• RQ2 不同使用模式和内容偏好的用户子群体中，处理效应如何变化？
• RQ3 个性化推荐在多大程度上提升了对小众内容与热门内容的参与度？
• RQ4 在低数据教育科技环境中，部署有效推荐系统的关键设计选择和评估方法是什么？
• RQ5 在学习指标难以测量的场景下，以参与度为导向的推荐能否作为学习成果的可行替代指标？

主要发现

• 个性化推荐使目标内容板块的参与度提升了60%（p < 0.05），标准误为17%。
• 与编辑推荐基线相比，实验组的整体应用使用时长增加了14%，表明参与度产生净正向影响。
• 重度用户——即拥有丰富互动历史的用户——因个性化推荐获得显著更大的收益，归因于更精准的偏好建模。
• 实验前偏好小众内容的用户从个性化推荐中获得了最高的相对收益，实现了对较不热门故事的发现。
• 即使对于前期流行度较低的故事，处理效应依然显著，表明个性化推荐能有效挖掘小众内容。
• 随着用户互动数据的增加，模型性能和推荐质量持续提升，凸显新用户和新内容面临的数据局限性。