[论文解读] Item Response Theory -- A Statistical Framework for Educational and Psychological Measurement

Yunxiao Chen, Xiaoou Li+2 more|arXiv (Cornell University)|Aug 19, 2021

Psychometric Methodologies and Testing参考文献 224被引用 17

一句话总结

本文提出了一套全面的项目反应理论（IRT）统计框架，将其与现代统计方法（如经验贝叶斯、矩阵补全和正则化估计）相联系。它展示了IRT在教育和心理测量中的核心作用，强调其在测试评分、自适应测试和预测建模中的应用，同时指出了在统计学习和公平性感知分析方面的未来发展方向。

ABSTRACT

Item response theory (IRT) has become one of the most popular statistical models for psychometrics, a field of study concerned with the theory and techniques of psychological measurement. The IRT models are latent factor models tailored to the analysis, interpretation, and prediction of individuals' behaviors in answering a set of measurement items that typically involve categorical response data. Many important questions of measurement are directly or indirectly answered through the use of IRT models, including scoring individuals' test performances, validating a test scale, linking two tests, among others. This paper provides a review of item response theory, including its statistical framework and psychometric applications. We establish connections between item response theory and related topics in statistics, including empirical Bayes, nonparametric methods, matrix completion, regularized estimation, and sequential analysis. Possible future directions of IRT are discussed from the perspective of statistical learning.

研究动机与目标

• 建立项目反应理论（IRT）作为心理测量学核心方法的统计基础。
• 将IRT与经验贝叶斯、非参数方法和矩阵补全等先进统计技术相联系。
• 探讨IRT在现代测量挑战中的应用，包括计算机化自适应测试和测试等值化。
• 弥合解释性IRT模型与行为数据预测建模之间的差距，特别是在个性化学习中的应用。
• 解决IRT中的公平性和动态建模问题，特别是在实时行为预测和干预背景下的应用。

提出的方法

• 采用潜因子模型框架，将个体对分类项目响应表示为未观测特质的函数。
• 应用参数化IRT模型，如2PL和3PL模型以及Rasch模型，其基础为指数族分布。
• 整合经验贝叶斯方法以估计个体和项目参数，提高小样本下的效率和收缩性。
• 利用矩阵补全技术处理响应矩阵中的缺失数据，尤其适用于大规模评估。
• 采用正则化估计和交叉验证以在高维潜变量设定下进行模型选择。
• 提出基于联合似然的估计方法，以提升在线或实时预测任务中动态潜变量的计算效率。

实验结果

研究问题

• RQ1 如何将IRT正式建立在现代统计学习框架之上，以支持行为测量中的预测分析？
• RQ2 IRT与非参数估计、矩阵补全和序列分析等统计方法之间存在何种联系？
• RQ3 如何将IRT模型适应于高维、动态和实时的行为预测，特别是在个性化学习系统中？
• RQ4 通过扩展差异项目功能（DIF）分析，有哪些方式可确保测量中的公平性？
• RQ5 在模型选择标准和性能度量方面，解释性IRT模型与预测模型有何不同？

主要发现

• IRT为教育和心理测试中的分类响应数据提供了稳健的统计框架，具有坚实的理论和实践基础。
• 将IRT与矩阵补全相结合，可有效处理大规模评估中的缺失数据，提升测量精度。
• 正则化估计和交叉验证在高维潜变量问题中至关重要，尤其在预测场景下。
• 基于联合似然的估计器在计算上优于传统边际似然方法，尤其适用于在线或实时预测场景。
• 动态潜变量模型对于捕捉学习过程中个体特质的快速变化至关重要，如智能辅导系统中的表现。
• 测量中的公平性要求将传统DIF分析扩展至多变量行为数据，使IRT与机器学习和算法公平性的当代关切相一致。