[论文解读] Learning meets Assessment: On the relation between Item Response Theory and Bayesian Knowledge Tracing

Benjamin Deonovic, Michael Yudelson+3 more|arXiv (Cornell University)|Mar 15, 2018

Evaluation and Performance Assessment被引用 4

一句话总结

本文建立了贝叶斯知识追踪（BKT）与项目反应理论（IRT）之间的理论联系，表明BKT的潜在掌握状态的平稳分布对应于一个IRT模型。其主要贡献在于通过网络心理测量学统一了这些模型，揭示了二者均为更广泛模型类别的特例，能够整合技能依赖关系，从而填补了当前学习与评估建模中的关键空白。

ABSTRACT

Few models have been more ubiquitous in their respective fields than Bayesian knowledge tracing and item response theory. Both of these models were developed to analyze data on learners. However, the study designs that these models are designed for differ; Bayesian knowledge tracing is designed to analyze longitudinal data while item response theory is built for cross-sectional data. This paper illustrates a fundamental connection between these two models. Specifically, the stationary distribution of the latent variable and the observed response variable in Bayesian knowledge Tracing are related to an item response theory model. This connection between these two models highlights a key missing component: the role of education in these models. A research agenda is outlined which answers how to move forward with modeling learner data. %Furthermore, recent advances in network psychometrics demonstrate how this relationship can be exploited and generalized to a network model.

研究动机与目标

• 识别并形式化贝叶斯知识追踪（BKT）与项目反应理论（IRT）之间的理论关系，二者是学习与评估领域中占主导地位的模型。
• 解决教育数据科学中长期存在的纵向（BKT）与横截面（IRT）建模方法之间的分歧。
• 强调缺乏对教育的显式建模——如技能依赖关系和教学影响——是BKT与IRT的共同关键局限。
• 提出一项研究议程，通过利用网络心理测量学与动态潜在变量系统，将教育整合进学习模型。
• 将BKT与IRT定位为更广泛网络模型类别的特例，这些模型能够捕捉技能相互依赖关系与动态增长过程。

提出的方法

• 本文将BKT分析为具有潜在掌握状态与二值响应的两状态隐马尔可夫模型（HMM），并表明其平稳分布对应于一个IRT模型。
• 将BKT的五个全局参数（π₀, πₗ, πϕ, πₛ, πg）映射到潜在HMM框架中的转移概率与发射概率。
• 作者将IRT模型，特别是多维IRT（MIRT），与统计物理中的伊辛模型联系起来，通过交互矩阵的特征值分解建立联系。
• 引入一个相互作用粒子系统，作为BKT与IRT的推广，其中潜在变量随时间演化，并通过网络结构相互作用。
• 使用伊辛模型表示技能依赖关系，其中交互强度（σᵢⱼ）编码教育关系与学习路径。
• 该框架允许技能非独立且项目非条件独立，从而克服了传统IRT与BKT的关键假设。

实验结果

研究问题

• RQ1 尽管BKT与IRT的数据假设不同，它们在理论上如何关联？
• RQ2 BKT中的平稳分布起什么作用，它如何对应于IRT模型？
• RQ3 为何众所周知的心理测量现象如正相关性（positive manifold）与马太效应（Matthew effect）在IRT中出现，但在BKT中不出现？
• RQ4 如何正式地将教育——如技能依赖关系与教学设计——整合进学习模型？
• RQ5 BKT与IRT能否在更广泛的基于网络的建模框架下统一，以捕捉动态、相互依赖的技能增长？

主要发现

• BKT潜在掌握状态的平稳分布在数学上等价于一个IRT模型，从而在两个框架之间建立了直接的理论联系。
• 通过伊辛模型形式化了BKT与IRT之间的联系，该模型将两者统一为一个统一的网络心理测量学框架。
• 传统IRT假设在给定潜在特质时项目条件独立，但伊辛模型允许项目之间直接依赖，从而实现对技能交互的更丰富建模。
• 在所提出的框架中，BKT模型对技能独立性的假设被放宽，允许通过网络连接实现动态、教育驱动的技能依赖关系。
• 该框架将正相关性与马太效应等知名心理测量现象解释为网络结构的涌现属性，而非模型假设的产物。
• 通过将技能连接建模为伊辛网络中的动态交互，实现了教育在模型中的整合，其中学习对应于在节点之间添加或增强边。