[论文解读] Assessment meets Learning: On the relation between Item Response Theory and Bayesian Knowledge Tracing

Benjamin Deonovic, Michael Yudelson+3 more|arXiv (Cornell University)|Mar 15, 2018

Mental Health Research Topics参考文献 2被引用 1

一句话总结

本文建立了贝叶斯知识追踪（BKT）与项目反应理论（IRT）之间的基础理论联系，表明BKT的潜在知识状态的平稳分布对应于一个IRT模型。通过利用网络心理测量学的最新进展，作者将这一联系推广为一种基于网络的模型，统一了纵向与横截面学习评估框架。

ABSTRACT

Few models have been more ubiquitous in their respective fields than Bayesian knowledge tracing and item response theory. Both of these models were developed to analyze data on learners. However, the study designs that these models are designed for differ; Bayesian knowledge tracing is designed to analyze longitudinal data while item response theory is built for cross-sectional data. This paper illustrates a fundamental connection between these two models. Specifically, the stationary distribution of the latent variable and the observed response variable in Bayesian knowledge Tracing are related to an item response theory model. Furthermore, recent advances in network psychometrics demonstrate how this relationship can be exploited and generalized to a network model.

研究动机与目标

• 探讨专为纵向学习数据设计的贝叶斯知识追踪（BKT）与专为横截面数据构建的项目反应理论（IRT）之间的理论关系。
• 证明在特定条件下，BKT的潜在知识状态的平稳分布与IRT模型一致。
• 利用网络心理测量学的最新进展，将此联系推广至更广泛的建模应用。
• 通过共享的统计基础，统一纵向与横截面学习评估方法。

提出的方法

• 推导BKT中潜在知识变量的平稳分布的理论公式。
• 将BKT的平稳分布映射到IRT模型中正确作答的概率。
• 利用网络心理测量模型，将BKT-IRT关系扩展为网络结构。
• 形式化BKT的长期知识状态与IRT的能力参数之间的等价性。
• 应用概率图模型来表示知识状态与作答结果的联合分布。

实验结果

研究问题

• RQ1 BKT的潜在知识变量的平稳分布如何与IRT模型相关联？
• RQ2 BKT与IRT之间的联系能否在标准假设之外得到推广？
• RQ3 网络心理测量模型在统一纵向与横截面学习评估中起到什么作用？
• RQ4 BKT-IRT对应关系在设计新型学习评估模型方面可提供哪些启示？

主要发现

• BKT知识状态变量的平稳分布对应于IRT模型中正确作答的概率。
• 该对应关系在学习与知识状态随时间趋于稳定这一假设下成立。
• 该关系使得BKT参数可被重新解释为等价于IRT参数，如题目难度与区分度。
• 该理论联系使得BKT能够通过网络心理测量学框架被扩展为网络模型。