[论文解读] Diagnostic Questions: The NeurIPS 2020 Education Challenge.

Zichao Wang, Angus Lamb+10 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Bandit Algorithms Research参考文献 8被引用 28

一句话总结

本文介绍了 NeurIPS 2020 教育挑战赛，该挑战赛利用来自 Eedi 平台的超过 2000 万条学生答题记录，开发模型以预测学生对诊断性数学题目的回答，评估题目质量，并生成个性化的题目序列。该工作通过分析多项选择题回答所揭示的误解，实现了学习课程的自动化、数据驱动的个性化。

ABSTRACT

Digital technologies are becoming increasingly prevalent in education, enabling personalized, high quality education resources to be accessible by students across the world. Importantly, among these resources are diagnostic questions: the answers that the students give to these questions reveal key information about the specific nature of misconceptions that the students may hold. Analyzing the massive quantities of data stemming from students' interactions with these diagnostic questions can help us more accurately understand the students' learning status and thus allow us to automate learning curriculum recommendations. In this competition, participants will focus on the students' answer records to these multiple-choice diagnostic questions, with the aim of 1) accurately predicting which answers the students provide; 2) accurately predicting which questions have high quality; and 3) determining a personalized sequence of questions for each student that best predicts the student's answers. These tasks closely mimic the goals of a real-world educational platform and are highly representative of the educational challenges faced today. We provide over 20 million examples of students' answers to mathematics questions from Eedi, a leading educational platform which thousands of students interact with daily around the globe. Participants to this competition have a chance to make a lasting, real-world impact on the quality of personalized education for millions of students across the world.

研究动机与目标

• 利用大规模交互数据预测学生对多项选择诊断题目的回答。
• 基于学生答题模式评估诊断题目的质量。
• 生成最能预测个体学生回答的个性化题目序列。
• 支持自动化、自适应学习系统的开发，以实现规模化个性化教育。
• 实现对全球高质量、个性化数学教育可及性的实际影响。

提出的方法

• 利用来自 Eedi（一个全球教育平台）的超过 2000 万条学生答题记录数据集。
• 使用机器学习技术建模学生答题行为，以推断误解和知识状态。
• 应用预测建模技术，预测学生在每道题目中会选择哪个选项。
• 利用答题模式评估题目的诊断质量，例如其揭示特定误解的能力。
• 采用序列建模技术，基于预测的答题行为为每位学生生成最优的个性化题目排序。
• 将所有组件整合到一个统一框架中，以模拟真实教育平台的工作流程。

实验结果

研究问题

• RQ1 利用大规模交互数据，模型在多大程度上能准确预测学生对诊断性数学题目的回答？
• RQ2 学生答题模式中的哪些特征可用于识别高质量的诊断题目？
• RQ3 如何生成个性化题目序列，以最好地预测个体学生的答题结果？
• RQ4 自动化系统在多大程度上能复现人类导师的诊断与自适应能力？
• RQ5 大规模机器学习模型能否有效支持全球范围的个性化学习？

主要发现

• 超过 2000 万条学生答题记录的数据集，使得通过答题模式对学生的误解进行稳健建模成为可能。
• 利用交互数据，预测模型能够准确预测学生对多项选择诊断题目的回答。
• 题目质量可基于学生答题分布中揭示的一致性和诊断价值进行评估。
• 可生成个性化题目序列，以提高对学生答题结果的预测准确性。
• 该框架在自适应学习平台中的实际部署方面展现出强大潜力。
• 竞赛框架支持对全球学习者实现可扩展的、数据驱动的数学教育个性化。