[论文解读] Learning Large $Q$-matrix by Restricted Boltzmann Machines

Chengcheng Li, Chenchen Ma+1 more|arXiv (Cornell University)|Jun 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 5

一句话总结

本文提出使用受限玻尔兹曼机（RBMs）高效学习认知诊断模型（CDMs）中的大型Q-矩阵，利用RBMs的结构建模项目-属性关系，实现计算成本为O(J×K)的可扩展、一致的估计。该方法在模拟数据和真实TIMSS数据上均表现出高精度与高速度，优于现有方法。

ABSTRACT

Estimation of the large $Q$-matrix in Cognitive Diagnosis Models (CDMs) with many items and latent attributes from observational data has been a huge challenge due to its high computational cost. Borrowing ideas from deep learning literature, we propose to learn the large $Q$-matrix by Restricted Boltzmann Machines (RBMs) to overcome the computational difficulties. In this paper, key relationships between RBMs and CDMs are identified. Consistent and robust learning of the $Q$-matrix in various CDMs is shown to be valid under certain conditions. Our simulation studies under different CDM settings show that RBMs not only outperform the existing methods in terms of learning speed, but also maintain good recovery accuracy of the $Q$-matrix. In the end, we illustrate the applicability and effectiveness of our method through a real data analysis on the Cattell's 16 personality test data set.

研究动机与目标

• 解决在具有大量项目和潜在属性的CDMs中估计大型Q-矩阵时的高计算成本问题。
• 开发一种可扩展的Q-矩阵学习方法，在高维属性模式下仍能保持估计精度。
• 利用RBMs架构建模观测响应与潜在属性之间的关系，实现Q-矩阵结构的高效推断。
• 在多种CDM设置和真实世界数据上展示该方法的鲁棒性与高效性。
• 为现有在大规模数据上失效的Q-矩阵估计技术提供一种实用且计算可行的替代方案。

提出的方法

• 通过在响应数据上训练RBMs来学习Q-矩阵，其中RBMs中的权重矩阵W对应于Q-矩阵结构。
• RBMs的可见层表示项目响应，隐藏层表示潜在属性，W编码了项目-属性依赖关系。
• 该方法使用对比发散（CD）算法进行高效参数估计，最小化观测数据的负对数似然。
• 通过阈值化估计的W来获得二值Q-矩阵，当|w_jk|超过预设阈值时，条目设为1。
• 通过将RBMs参数与相应CDM的响应概率模型对齐，该方法可适用于多种CDMs（如DINA、ACDM、GDINA）。
• 提出了初始化策略，包括利用部分Q-矩阵知识以提高收敛性和准确性。

实验结果

研究问题

• RQ1 RBMs能否在保持估计精度的前提下，有效用于CDMs中大型Q-矩阵的学习？
• RQ2 与现有Q-矩阵估计技术相比，基于RBMs的方法在计算效率和恢复精度方面表现如何？
• RQ3 初始化和模型假设对基于RBMs的Q-矩阵学习性能有何影响？
• RQ4 基于RBMs的方法能否应用于具有高维属性空间的真实教育评估数据？
• RQ5 在不同样本量和模型误设条件下，该方法的鲁棒性如何？

主要发现

• 在满足正则性条件时，基于RBMs的方法在各种CDMs中均实现了稳定且鲁棒的Q-矩阵估计，具有理论支持的的一致性。
• 模拟结果表明，该方法在学习速度上显著优于现有方法，尤其在具有高维属性模式的大规模Q-矩阵中表现突出。
• 在包含13个二值属性和757名考生的TIMSS数学数据集上，该方法成功恢复出有意义的Q-矩阵，证明了其实际适用性。
• 即使属性模式数量（8192）超过样本量，该方法仍能保持高恢复精度，这是现实CDM应用中的常见挑战。
• 利用部分Q-矩阵知识进行合理初始化可提高估计精度，尤其有助于保持初始权重的符号。
• 该方法的计算成本呈线性增长O(J×K)，使其可扩展至大量项目和属性，而许多现有方法则不具备此特性。