[论文解读] Analyzing Student Strategies In Blended Courses Using Clickstream Data

Nil-Jana Akpinar, Aaditya Ramdas+1 more|arXiv (Cornell University)|May 31, 2020

Online Learning and Analytics参考文献 26被引用 4

一句话总结

本文提出一种混合NLP方法，用于分析混合式大学课程中细粒度的点击流数据，揭示了学生在家庭作业和考试准备中采用的不同策略。研究表明，学习会话次数、点击频率和出勤率等特征即使在混合式课程中常见的低数据环境下，也能可靠预测学业表现。

ABSTRACT

Educational software data promises unique insights into students' study behaviors and drivers of success. While much work has been dedicated to performance prediction in massive open online courses, it is unclear if the same methods can be applied to blended courses and a deeper understanding of student strategies is often missing. We use pattern mining and models borrowed from Natural Language Processing (NLP) to understand student interactions and extract frequent strategies from a blended college course. Fine-grained clickstream data is collected through Diderot, a non-commercial educational support system that spans a wide range of functionalities. We find that interaction patterns differ considerably based on the assessment type students are preparing for, and many of the extracted features can be used for reliable performance prediction. Our results suggest that the proposed hybrid NLP methods can provide valuable insights even in the low-data setting of blended courses given enough data granularity.

研究动机与目标

• 理解学生在混合式课程中如何与教育软件互动，特别是其学习策略。
• 解决混合式课程中性能预测的空白问题，此类课程的数据比MOOCs更稀疏、结构更松散。
• 开发并验证一种新颖方法，从低数据量的点击流日志中提取有意义且可解释的学生策略。
• 研究不同评估类型（家庭作业与考试）下策略的差异及其对学业结果的预测能力。
• 基于上下文感知、行为驱动的特征，为教师和早期预警系统设计提供可操作的洞察。

提出的方法

• 将来自Diderot（一个非商业教育支持系统）的原始点击流数据预处理为表示学生交互行为的动作序列。
• 应用主题建模（如潜在狄利克雷分配）以识别学生行为的重复模式作为‘策略’。
• 使用skip-gram神经网络模型学习学生行为的上下文嵌入，捕捉其序列性和语义关系。
• 结合模式挖掘与NLP技术，从细粒度交互日志中提取频繁且有意义的策略。
• 将提取的特征（如学习会话次数、点击频率和出勤率）整合到基于树的集成模型中，用于性能预测。
• 利用部分依赖图和特征重要性评分解释模型输出，增强模型的可解释性。

实验结果

研究问题

• RQ1 学生如何与课程材料互动，他们常采用哪些策略？
• RQ2 学生在准备家庭作业与考试时，其策略有何不同？
• RQ3 学生互动模式和策略是否能预测学业表现结果？
• RQ4 混合NLP方法能否有效从低数据量、混合式课程的点击流数据中提取可解释的策略？
• RQ5 哪些行为特征在混合式学习环境中最能指示高绩效？

主要发现

• 学生在截止日期和考试前的几天内活动增加，其中考试准备阶段更多地涉及复习讲义内容，而非完成家庭作业。
• 学生在家庭作业相关问题上提问的频率高于其他材料（如讲义或练习考试），表明其对作业内容的针对性参与。
• 参加讲座和研讨课的学生平均得分显著更高——家庭作业得分为76.58%，而未参加者仅为55.86%，表明出勤是表现的强预测因子。
• 学习会话次数、总点击次数以及与家庭作业特定内容的互动是模型中家庭作业成绩的强预测因子。
• 主题模型（如LDA）恢复的策略与传统模式挖掘结果相似，而skip-gram模型即使在中等数据量下也能提供有价值的上下文感知表示。
• 基于树的集成模型通过特征重要性和部分依赖图实现高可解释性，使其适用于高风险的早期预警系统。