[论文解读] EdNet: A Large-Scale Hierarchical Dataset in Education

Youngduck Choi, Youngnam Lee+8 more|arXiv (Cornell University)|Dec 6, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 27被引用 13

一句话总结

EdNet 是一个大规模、分层的教育数据集，包含来自 784,000 名学生的 1.31 亿条交互记录，覆盖两年内从 Santa AI 辅导平台收集的多样化学习活动，如解题、观看课程和购买课程。其分层结构支持知识追踪和学习路径推荐等任务的多级抽象，目前已推动知识追踪、辍学预测和标签稀缺任务的预训练等任务的最先进模型发展。

ABSTRACT

With advances in Artificial Intelligence in Education (AIEd) and the ever-growing scale of Interactive Educational Systems (IESs), data-driven approach has become a common recipe for various tasks such as knowledge tracing and learning path recommendation. Unfortunately, collecting real students' interaction data is often challenging, which results in the lack of public large-scale benchmark dataset reflecting a wide variety of student behaviors in modern IESs. Although several datasets, such as ASSISTments, Junyi Academy, Synthetic and STATICS, are publicly available and widely used, they are not large enough to leverage the full potential of state-of-the-art data-driven models and limits the recorded behaviors to question-solving activities. To this end, we introduce EdNet, a large-scale hierarchical dataset of diverse student activities collected by Santa, a multi-platform self-study solution equipped with artificial intelligence tutoring system. EdNet contains 131,441,538 interactions from 784,309 students collected over more than 2 years, which is the largest among the ITS datasets released to the public so far. Unlike existing datasets, EdNet provides a wide variety of student actions ranging from question-solving to lecture consumption and item purchasing. Also, EdNet has a hierarchical structure where the student actions are divided into 4 different levels of abstractions. The features of EdNet are domain-agnostic, allowing EdNet to be extended to different domains easily. The dataset is publicly released under Creative Commons Attribution-NonCommercial 4.0 International license for research purposes. We plan to host challenges in multiple AIEd tasks with EdNet to provide a common ground for the fair comparison between different state of the art models and encourage the development of practical and effective methods.

研究动机与目标

• 为解决现代交互式教育系统（IES）中缺乏大规模、多样化且公开可用的教育交互数据集，以反映真实世界的学生行为。
• 提供一个全面的教育人工智能（AIEd）基准，支持知识追踪、学习路径推荐和辍学预测等多样化任务。
• 通过可扩展、领域无关且分层的数据集结构，支持最先进数据驱动模型的开发与公平比较。

提出的方法

• EdNet 从 Santa 收集细粒度的学生交互日志，Santa 是一个用于 TOEIC 考试准备的多平台 AI 辅导系统。
• 该数据集按四个抽象层级进行分层结构化，使研究人员能够以不同粒度建模学生行为。
• 它记录了多种行为，包括解题、课程观看、选择排除和产品购买，超越了典型评估日志的范畴。
• 该数据集以非商业用途的创作共用许可证公开发布，以支持研究和基准测试。
• 研究人员使用 EdNet 训练和评估模型，如基于 Transformer 的知识追踪模型 SAINT 和用于学习会话辍学预测的 DAS 模型。
• 其分层设计支持构建具有不同保真度的模拟器，用于强化学习驱动的学习路径推荐。

实验结果

研究问题

• RQ1 大规模、多样化且分层的教育数据集如何提升教育领域数据驱动人工智能模型的性能与泛化能力？
• RQ2 细粒度交互日志中捕捉到的学生学习关键行为模式，除了简单的正确性标签外，还包含哪些特征？
• RQ3 EdNet 的分层结构如何实现对学生知识状态和学习轨迹更灵活、可扩展的建模？
• RQ4 在 EdNet 上进行预训练是否能提升标签稀缺教育任务（如考试成绩预测和评论正确性预测）的性能？
• RQ5 基于 EdNet 构建的模拟器在多大程度上能有效支持强化学习智能体在个性化学习路径推荐中的训练？

主要发现

• EdNet 包含来自 784,309 名学生的 131,441,538 条交互记录，是迄今为止最大的公开可用 IES 数据集。
• 该数据集记录了 13,169 种不同题目和 1,021 场课程，其中解题交互超过 9500 万次，课程观看达 60 万次。
• 在 EdNet-KT1 上训练的 SAINT 模型在知识追踪任务中实现了最先进性能，AUCROC 显著提升。
• 用于学习会话辍学预测的 DAS 模型在 EdNet-KT4 上优于现有模型，证明了细粒度时间行为建模的价值。
• 基于 EdNet-KT4 的评估建模（Assessment Modeling）预训练方法在考试成绩预测和评论正确性预测任务中达到最先进结果，优于基于 NLP 的预训练方法。
• EdNet 的分层结构支持开发具有不同保真度的模拟器，从而支持高效且有效的强化学习驱动教学策略。