[论文解读] Variational Item Response Theory: Fast, Accurate, and Expressive
本文提出了一种用于项目反应理论（IRT）的变分贝叶斯推断算法，可在大规模数据集上实现快速、可扩展且精确的IRT模型拟合。通过利用变分推断，该方法在显著提升计算效率的同时保持了高精度，并通过具有表现力的贝叶斯模型扩展了经典IRT，从而在五个真实世界数据集上提升了对数似然值和缺失数据插补效果。
Item Response Theory (IRT) is a ubiquitous model for understanding humans based on their responses to questions, used in fields as diverse as education, medicine and psychology. Large modern datasets offer opportunities to capture more nuances in human behavior, potentially improving test scoring and better informing public policy. Yet larger datasets pose a difficult speed / accuracy challenge to contemporary algorithms for fitting IRT models. We introduce a variational Bayesian inference algorithm for IRT, and show that it is fast and scaleable without sacrificing accuracy. Using this inference approach we then extend classic IRT with expressive Bayesian models of responses. Applying this method to five large-scale item response datasets from cognitive science and education yields higher log likelihoods and improvements in imputing missing data. The algorithm implementation is open-source, and easily usable.
研究动机与目标
- 解决传统IRT拟合算法在大规模现代数据集上扩展时难以兼顾精度的挑战。
- 开发一种计算高效的推断方法，以在复杂IRT应用中保持高模型保真度。
- 通过具有表现力的贝叶斯结构扩展经典IRT模型，以更好地捕捉人类响应行为的细微特征。
- 通过在真实世界数据集上使用可扩展推断，提升对数似然值和缺失数据插补性能。
提出的方法
- 本文提出一种专用于IRT模型的变分贝叶斯推断算法，采用均值场近似来优化后验估计。
- 通过构建边缘似然的下界（证据下界）实现高效优化，支持随机梯度下降。
- 采用灵活的先验分布对项目和个体参数进行建模，从而实现对个体与项目层面异质性的表达性建模。
- 推断过程设计为与数据集规模呈线性扩展，支持大规模数据集的应用。
- 通过模块化参数化支持二分法和有序多分类响应模型。
- 实现代码开源，便于复现，并可轻松集成到现有研究工作流中。
实验结果
研究问题
- RQ1变分贝叶斯推断能否被有效适配于项目反应理论，以实现在大规模数据集上的可扩展且精确的模型拟合？
- RQ2与标准IRT拟合算法相比，所提出方法在计算速度和预测准确性方面表现如何？
- RQ3对IRT模型进行具有表现力的贝叶斯扩展在多大程度上能提升模型拟合度和缺失数据插补效果？
- RQ4该方法是否在来自教育与认知科学领域的多样化真实世界数据集中均保持高性能？
主要发现
- 与基于MCMC的标准IRT拟合相比，该变分贝叶斯IRT方法在训练时间上显著更快，同时保持了相当或更优的准确性。
- 在五个大规模项目反应数据集上，所提模型的对数似然值始终高于基线IRT模型。
- 该方法在缺失响应数据插补方面表现出更优性能，表明其具备更强的泛化能力和建模能力。
- 该算法能高效扩展至数据集规模，使得传统MCMC方法难以处理的超大规模数据集也能实际应用。
- 开源实现促进了研究社区的广泛采用与进一步扩展。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。