[论文解读] Instructions and Guide for Diagnostic Questions: The NeurIPS 2020 Education Challenge

Zichao Wang, Angus Lamb+10 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Bandit Algorithms Research参考文献 12被引用 12

一句话总结

本文介绍了 NeurIPS 2020 教育挑战赛，这是一场聚焦于通过数学教育中的诊断性问题提升个性化学习的竞赛。该研究提出了一套框架，用于预测学生答题情况、通过选项分析识别认知误区、评估问题质量，并利用来自 Eedi 的真实世界数据生成个性化的题目序列，数据包含超过 2000 万条学生答题记录。其主要贡献是为推进基于人工智能的自适应学习系统提供了一个全面的基准。

ABSTRACT

Digital technologies are becoming increasingly prevalent in education, enabling personalized, high quality education resources to be accessible by students across the world. Importantly, among these resources are diagnostic questions: the answers that the students give to these questions reveal key information about the specific nature of misconceptions that the students may hold. Analyzing the massive quantities of data stemming from students' interactions with these diagnostic questions can help us more accurately understand the students' learning status and thus allow us to automate learning curriculum recommendations. In this competition, participants will focus on the students' answer records to these multiple-choice diagnostic questions, with the aim of 1) accurately predicting which answers the students provide; 2) accurately predicting which questions have high quality; and 3) determining a personalized sequence of questions for each student that best predicts the student's answers. These tasks closely mimic the goals of a real-world educational platform and are highly representative of the educational challenges faced today. We provide over 20 million examples of students' answers to mathematics questions from Eedi, a leading educational platform which thousands of students interact with daily around the globe. Participants to this competition have a chance to make a lasting, real-world impact on the quality of personalized education for millions of students across the world.

研究动机与目标

• 开发能够准确预测学生是否能正确回答诊断性问题的模型。
• 预测学生选择的具体错误选项，从而识别常见认知误区。
• 根据问题的诊断效用和学生答题模式，评估诊断性问题的质量。
• 生成针对个体学生知识水平和认知误区的个性化题目序列。
• 推进无监督和主动学习方法，以实现可扩展的、真实世界教育平台的应用。

提出的方法

• 利用来自 Eedi（一个全球教育平台）的超过 2000 万条学生答题记录的大规模数据集。
• 应用监督学习与无监督学习技术，以预测学生答题结果和选项选择。
• 在任务 3 中采用基于熵和基于流行度的基线方法，对问题质量进行排序。
• 在任务 4 中开发序列建模方法，基于学生和题目元数据，实现个性化题目选择。
• 提供标准化的评估协议、本地验证脚本以及 CodaLab 提交工作流，以确保可复现性。
• 对任务 1–2 和任务 3–4 使用互不重叠的数据划分，防止数据泄露并确保公平评估。

实验结果

研究问题

• RQ1 在使用答题模式的情况下，模型能多准确地预测学生在诊断性数学问题上的正确性？
• RQ2 模型在多大程度上能通过预测错误选项来识别特定的认知误区？
• RQ3 哪些特征最能独立于学生表现来预测问题的诊断质量？
• RQ4 如何生成个性化题目序列，以最大化预测准确率和学习效率？
• RQ5 无监督和主动学习方法能否在大规模场景下有效对诊断性问题进行排序和序列化？

主要发现

• 竞赛数据集包含超过 2000 万条学生答题记录，支持对诊断性学习模型的大规模评估。
• 基于选项选择流行度和熵的基线模型在问题质量排序任务中表现具有竞争力。
• 本地评估脚本使参赛者能够在最终提交 CodaLab 前验证模型行为。
• 该框架支持 PyTorch 和 NumPy 实现，确保在不同机器学习技术栈中的可访问性。
• 竞赛设计通过在答题预测任务与问题质量任务之间严格分离数据，防止了数据泄露。
• 提交流程已标准化，对文件命名和结构有明确要求，以确保评估一致性。