[论文解读] Identifying At-Risk K-12 Students in Multimodal Online Environments: A Machine Learning Approach

Hang Li, Wenbiao Ding+1 more|arXiv (Cornell University)|Mar 21, 2020

Online Learning and Analytics参考文献 50被引用 10

一句话总结

该论文提出了一种机器学习框架，通过整合课内、课外和时变特征，在多模态在线学习环境中识别处于风险中的K-12学生，采用一种新颖的凸加权数据增强技术以解决类别不平衡问题。该系统在第三方辅导平台的真实部署中，实现了超过70%的辍学学生检测率。

ABSTRACT

With the rapid emergence of K-12 online learning platforms, a new era of education has been opened up. It is crucial to have a dropout warning framework to preemptively identify K-12 students who are at risk of dropping out of the online courses. Prior researchers have focused on predicting dropout in Massive Open Online Courses (MOOCs), which often deliver higher education, i.e., graduate level courses at top institutions. However, few studies have focused on developing a machine learning approach for students in K-12 online courses. In this paper, we develop a machine learning framework to conduct accurate at-risk student identification specialized in K-12 multimodal online environments. Our approach considers both online and offline factors around K-12 students and aims at solving the challenges of (1) multiple modalities, i.e., K-12 online environments involve interactions from different modalities such as video, voice, etc; (2) length variability, i.e., students with different lengths of learning history; (3) time sensitivity, i.e., the dropout likelihood is changing with time; and (4) data imbalance, i.e., only less than 20\% of K-12 students will choose to drop out the class. We conduct a wide range of offline and online experiments to demonstrate the effectiveness of our approach. In our offline experiments, we show that our method improves the dropout prediction performance when compared to state-of-the-art baselines on a real-world educational dataset. In our online experiments, we test our approach on a third-party K-12 online tutoring platform for two months and the results show that more than 70\% of dropout students are detected by the system.

研究动机与目标

• 开发一种实用的早期预警系统，用于识别在线学习环境中处于风险中的K-12学生，其中辍学率虽低但影响重大。
• 解决K-12在线教育中特有的关键挑战：多模态互动、可变的学习序列长度、对时间敏感的辍学风险以及严重的类别不平衡问题。
• 设计一种带有时间敏感加权的数据增强策略，以提升在类别不平衡的辍学预测任务中的模型性能。
• 在真实世界数据上进行离线评估，并在第三方K-12辅导平台的生产环境中进行在线评估。

提出的方法

• 该框架整合了三类特征：课内特征（如视频和语音互动）、课外特征（如家长沟通、后续跟进）以及时变特征（如学习时长、会话频率）。
• 提出一种新颖的数据增强技术，使用凸加权函数在生成少数类辍学案例的伪训练样本时，赋予近期观测更高的重要性。
• 采用多步提前预测方法，对7天和14天时间范围内的辍学可能性进行预测，以实现及时干预。
• 系统采用基于真实世界K-12教育数据训练的机器学习流水线，离线实验中使用AUC分数评估性能。
• 在在线部署中，系统每日根据预测的辍学概率对学生进行排序，并将排名前30%的学生标记为高风险，以供干预。

实验结果

研究问题

• RQ1 课内、课外和时变特征在单独及联合使用时，对在线环境中K-12学生辍学预测的贡献如何？
• RQ2 具有时间敏感性的数据增强策略在类别不平衡的辍学预测任务中，能在多大程度上提升模型性能？
• RQ3 在真实世界K-12在线学习数据上训练的机器学习模型，能否在生产环境中实现高检测率的高风险学生识别？
• RQ4 与最先进基线方法相比，该框架在真实世界数据上的AUC性能表现如何？

主要发现

• 在离线实验中，所提出的框架显著优于最先进基线方法，在使用全部特征类型的7天预测任务中达到0.7774的AUC分数。
• 仅使用课外特征即可实现最佳个体性能（AUC 0.7768），表明服务质量与外部互动是辍学的关键预测因素。
• 凸加权函数在数据增强中表现远超其他形式，证实了时间敏感性在辍学预测中的重要性。
• 在真实世界在线部署中，通过标记预测风险得分最高的前30%学生，系统成功检测到超过70%的实际辍学学生。
• 课内、课外和时变特征的组合在所有预测时间范围内均表现出最高性能，证明了多模态特征融合的价值。