[论文解读] Bayesian Network Models for Adaptive Testing

Martin Plajner, Jiří Vomlel|arXiv (Cornell University)|Nov 26, 2015

Intelligent Tutoring Systems and Adaptive Learning参考文献 6被引用 3

一句话总结

本文提出并评估了基于语法学校数学测验数据的计算机自适应测试（CAT）贝叶斯网络模型。通过建模具有不同状态的技能节点并结合题目作答情况，模型能够自适应地选择题目以高效估计能力；结果表明，具有三个或更多技能状态的模型优于更简单的模型，而专家模型由于过拟合和稀疏性导致复杂度过高而表现欠佳，提示需要更多数据或结构简化。

ABSTRACT

Computerized adaptive testing (CAT) is an interesting and promising approach to testing human abilities. In our research we use Bayesian networks to create a model of tested humans. We collected data from paper tests performed with grammar school students. In this article we first provide the summary of data used for our experiments. We propose several different Bayesian networks, which we tested and compared by cross-validation. Interesting results were obtained and are discussed in the paper. The analysis has brought a clearer view on the model selection problem. Future research is outlined in the concluding part of the paper.

研究动机与目标

• 开发能够实现数学学科中学生知识高效自适应评估的贝叶斯网络模型。
• 评估不同模型结构（尤其是技能变量状态数量）对自适应测试准确性与效率的影响。
• 研究在测试初期阶段，额外学生信息（如成绩）对模型性能的影响。
• 使用真实学生测验数据，比较简单模型、专家模型和信息增强型贝叶斯网络模型的性能。
• 识别影响自适应测试中模型可靠性与泛化能力的结构与数据相关因素。

提出的方法

• 基于281名语法学校学生的数据，构建了包含隐含技能节点（表示学生在数学函数方面的知识）的贝叶斯网络。
• 模型结构在技能变量状态数（2、3或更多）上有所变化，并将布尔值或整数值的子问题作为证据节点。
• 使用交叉验证评估模型性能，通过基于当前信念更新的顺序选择题目来模拟自适应测试。
• 同时采用二值（正确/错误）和数值（0–4分）评分方式评估子问题，以分析响应粒度的敏感性。
• 使用成功率和题目选择模式评估模型，通过分析条件概率表（CPT）的稀疏性与参数数量检测过拟合。
• 比较了包含与不包含额外学生信息（如先前成绩）的模型，以评估其对初期准确性的影响力。

实验结果

研究问题

• RQ1 增加隐含技能变量的状态数如何影响自适应测试模型的准确性？
• RQ2 具有复杂技能结构的专家模型与简单模型相比，在预测性能和鲁棒性方面有何差异？
• RQ3 在多大程度上，整合先前学生信息（如成绩）能提升自适应测试初期的估计准确性？
• RQ4 模型复杂度与CPT稀疏性在过拟合和性能下降中起什么作用，特别是在数据量有限的情况下？
• RQ5 不同模型结构如何影响测试过程中题目选择的多样性与一致性？

主要发现

• 具有三个或更多状态的隐含技能变量模型在测试最关键的初期阶段显著优于仅具有两个状态的模型。
• 尽管专家模型复杂度极高，但其表现仍劣于简单模型，主要由于过拟合和CPT高度稀疏（平均稀疏度为0.121，每行平均含81.7个零值）。
• 额外学生信息（如先前成绩）仅在测试初期提升性能，表明其长期效益有限，并可能存在实际或伦理方面的弊端。
• CPT中的零值数量（AZT）与稀疏度（AS）随模型复杂度增加而上升，证实数据量有限会加剧高参数模型的过拟合问题。
• 题目选择模式显示，专家模型在不同测试运行中表现出高度可变性与较低的一致性，表明其选择策略存在不确定性。
• 具有三状态技能变量的简单模型在准确性与稳定性之间取得了更好平衡，提示其更适合实际自适应测试应用。