[论文解读] KernSmoothIRT: An R Package for Kernel Smoothing in Item Response Theory

Angelo Mazza, Antonio Punzo+1 more|arXiv (Cornell University)|Nov 6, 2012

Psychometric Methodologies and Testing参考文献 32被引用 26

一句话总结

本文介绍了 KernSmoothIRT R 包，这是一种使用核平滑技术非参数估计项目反应理论（IRT）选项特征曲线（OCC）的工具，可实现灵活、无假设的项目反应建模。该方法提供了稳健的可视化与分析工具，如 OCC 图、期望项目得分（EIS）和四面体图，用于评估测试项目并检测差异项目功能（DIF），在真实多项选择题和评分量表数据集上表现出色，具有强大的实证性能。

ABSTRACT

Item response theory (IRT) models are a class of statistical models used to describe the response behaviors of individuals to a set of items having a certain number of options. They are adopted by researchers in social science, particularly in the analysis of performance or attitudinal data, in psychology, education, medicine, marketing and other fields where the aim is to measure latent constructs. Most IRT analyses use parametric models that rely on assumptions that often are not satisfied. In such cases, a nonparametric approach might be preferable; nevertheless, there are not many software applications allowing to use that. To address this gap, this paper presents the R package KernSmoothIRT. It implements kernel smoothing for the estimation of option characteristic curves, and adds several plotting and analytical tools to evaluate the whole test/questionnaire, the items, and the subjects. In order to show the package's capabilities, two real datasets are used, one employing multiple-choice responses, and the other scaled responses.

研究动机与目标

• 为解决参数化 IRT 模型存在的局限性，后者依赖于在实践中常被违反的强假设，提供一种非参数替代方法。
• 开发一个易于使用、用户友好的 R 包，使研究人员能够在不假设特定参数形式的情况下估计项目反应曲线。
• 提供全面的可视化与诊断工具，如 OCC、EIS 和四面体图，用于评估项目表现和测试结构。
• 通过使用非参数平滑技术比较不同子群体的响应模式，支持差异项目功能（DIF）的检测。
• 在真实世界数据集（包括多项选择题测试和关于 HIV 相关态度的评分量表问卷）上展示该包的实用性。

提出的方法

• 直接对观测到的项目反应数据应用核平滑技术，以在不假设参数形式的情况下估计非参数选项特征曲线（OCC）。
• 该方法使用带宽选择程序，在平滑过程中平衡偏差与方差，确保曲线估计的可靠性。
• 通过 ksIRT 函数中的 'format' 参数，支持多种项目格式，包括多项选择题和评分量表项目。
• 通过 'miss' 选项处理缺失数据，可选择忽略不完整案例或应用其他插补策略。
• 诊断工具包括用于评估潜在特质范围内项目表现的期望项目得分（EIS）曲线，以及用于可视化有序选项间响应概率演变过程的四面体图。
• 通过在 ksIRT 函数中使用 'groups' 参数，比较不同子群体（如性别）的平滑响应模式，评估差异项目功能（DIF）。

实验结果

研究问题

• RQ1 当分布假设被违反时，核平滑是否能提供一种可靠、非参数的参数化 IRT 模型替代方案？
• RQ2 所估计的选项特征曲线（OCC）在不同项目格式下，是否能准确反映真实的响应行为？
• RQ3 该包的可视化工具（如 EIS 和四面体图）在识别问题项目或表现良好项目方面，能提供多大程度的帮助？
• RQ4 在不依赖参数模型假设的前提下，该包能否有效检测子群体间的差异项目功能（DIF）？
• RQ5 在真实世界数据集中，非参数方法与传统参数化 IRT 模型相比，性能如何？

主要发现

• 该包成功估计了多项选择题和评分量表项目的 OCC，结果显示响应概率随潜在特质水平升高而呈现平滑、单调的上升趋势，符合预期。
• HIV 数据集中第 9 题的期望项目得分（EIS）曲线在整个总分范围内表现出一致且单调的上升趋势，表明该项目表现良好。
• 第 9 题的四面体图显示从选项 1 到选项 4 的响应概率平滑过渡，视觉上验证了该项目的一维性和有序响应模式。
• 按性别进行的 DIF 分析显示，男性与女性的响应模式无显著差异，表现为重叠的期望得分曲线和密度图。
• 非参数方法通过忽略不完整案例（排除后剩余 n=3473），有效处理了缺失数据，同时保持了模型的稳定性和可解释性。
• 该包在真实数据集上展示了实际应用价值，为研究人员提供了一种灵活、无假设的参数化 IRT 模型替代方案，并具备丰富的诊断输出。