[论文解读] Application and Simulation of Computerized Adaptive Tests Through the Package catsim

Douglas De Rizzo Meneghetti, Plínio Thomaz Aquino|arXiv (Cornell University)|Jul 10, 2017

Engineering and Test Systems参考文献 10被引用 9

一句话总结

该论文介绍了 catsim，一个用于使用项目反应理论（IRT）模型模拟计算机自适应测试（CAT）的新型 Python 软件包。它使用户能够生成项目和考生参数，模拟具有可自定义初始化、项目选择、估计和停止规则的 CAT，并可视化结果——填补了基于 Python 的 CAT 模拟工具在研究和应用开发中可扩展、模块化组件方面的关键空白。

ABSTRACT

This paper presents catsim, the first package written in the Python language specialized in computerized adaptive tests and the logistical models of Item Response Theory. catsim provides functions for generating item and examinee parameters, simulating tests and plotting results, as well as enabling end users to create new procedures for proficiency initialization, item selection, proficiency estimation and test stopping criteria. The simulator keeps a record of the items selected for each examinee as well as their answers and also enables the simulation of linear tests, in which all examinees answer the same items. The various components made available by catsim can also be used in the creation of third-party testing applications. Examples of such usages are also presented in this paper.

研究动机与目标

• 解决研究人员和开发者在 Python 中缺乏专用开源 CAT 模拟工具的问题。
• 提供一个模块化、可扩展的框架，用于模拟计算机自适应测试，完整追踪项目选择、响应和能力估计过程。
• 支持在各种 IRT 模型下模拟自适应和线性测试，便于方法比较和 CAT 设计的预测试。
• 提供可视化功能，用于绘制项目特征曲线、测试进度和项目暴露率，以辅助测试评估和设计。
• 通过可重用、文档齐全的组件，支持集成到第三方测试应用中。

提出的方法

• 该软件包采用模块化架构，将 CAT 组件分离为：能力初始化、项目选择、能力估计和测试停止标准。
• 使用逻辑斯蒂 IRT 模型（如 1PL、2PL、3PL），并利用 numpy 和 scipy 等科学计算 Python 库进行数值计算。
• 模拟器为每位考生维护完整的测试历史，包括每一步选择的项目、回答结果以及估计的能力值。
• 提供函数用于生成具有指定参数的项目库，模拟测试实施过程，并绘制结果图，如 ICC、信息曲线和测试进度图。
• 用户可通过面向对象接口定义自定义流程，从而扩展核心 CAT 组件（如选择器和估计器）。
• 可视化功能包括绘制项目曲线（ICC、IIC、两者）、测试进度（能力、标准误、信息量）以及项目暴露率（支持直方图或折线图）。

实验结果

研究问题

• RQ1 如何在 Python 中实现一个全面、可扩展且用户友好的 IRT 基础 CAT 模拟软件包？
• RQ2 在模拟的 CAT 环境中，不同项目选择和能力估计策略在性能和行为上存在哪些差异？
• RQ3 catsim 在真实部署前，能在多大程度上支持新 CAT 方法论的设计与评估？
• RQ4 catsim 的模块化组件在第三方测试应用中重用的效率如何，能否成功集成到更大的评估系统中？
• RQ5 catsim 提供了哪些可视化功能，以支持项目库和测试结果的分析与验证？

主要发现

• catsim 是首个专为计算机自适应测试和 IRT 建模设计的原生 Python 软件包，在科学 Python 生态系统中填补了重要空白。
• 该软件包成功支持自适应和线性测试的模拟，并为每位考生完整记录项目选择、回答和能力估计过程。
• 它支持绘制项目特征曲线、信息曲线和测试进度图，包括随时间变化的标准误和信息量度量。
• 模拟器记录项目暴露率，并支持按项目参数排序或以直方图形式绘制，有助于识别过度使用的项目。
• 模块化设计允许用户实现自定义的初始化、选择、估计和停止规则，显著提升了研究和应用开发的灵活性。
• catsim 的组件可在模拟之外重用，支持集成到生产级测试应用中。