[论文解读] Computerized Adaptive Testing Simulation Through the Package catsim

Douglas De Rizzo Meneghetti, Plínio Thomaz Aquino|arXiv (Cornell University)|Jul 10, 2017

Educational Technology and Assessment被引用 3

一句话总结

本论文介绍了 catsim，一个基于 Python 的软件包，用于使用项目反应理论（IRT）模型模拟计算机化自适应测试（CAT）。它支持项目选择、能力估计和测试终止的模拟，并对考生响应和项目曝光情况进行完整日志记录，支持自适应和线性测试设计。

ABSTRACT

This paper presents catsim, the first package written in the Python language specialized in computerized adaptive tests and the logistical models of Item Response Theory. catsim provides functions for generating item and examinee parameters, simulating tests and plotting results, as well as enabling end users to create new procedures for proficiency initialization, item selection, proficiency estimation and test stopping criteria. The simulator keeps a record of the items selected for each examinee as well as their answers and also enables the simulation of linear tests, in which all examinees answer the same items. The various components made available by catsim can also be used in the creation of third-party testing applications. Examples of such usages are also presented in this paper.

研究动机与目标

• 开发一个专门的、开源的 Python 软件包，用于基于项目反应理论（IRT）模型模拟计算机化自适应测试（CAT）。
• 为研究人员和开发者提供一个灵活的框架，用于测试和比较 CAT 程序。
• 支持模拟自适应和线性测试，对项目使用情况和考生响应进行详细日志记录。
• 通过允许用户实现自定义的能力初始化、项目选择、估计和停止规则程序，支持可扩展性。
• 通过模块化设计，促进 CAT 组件与第三方测试应用程序的集成。

提出的方法

• 使用逻辑模型实现基于 IRT 的项目和考生参数生成。
• 设计模块化架构，支持插件式组件，用于能力初始化、项目选择、估计和停止标准。
• 通过基于实时能力估计动态选择项目，实现自适应测试的模拟。
• 支持线性测试模拟，其中所有考生回答相同的固定项目集合。
• 对每次模拟运行中所选项目和考生响应进行日志记录。
• 集成可视化功能，用于绘制模拟结果，包括项目曝光率和能力轨迹图。

实验结果

研究问题

• RQ1 如何设计一个灵活且可扩展的 Python 软件包，以使用 IRT 模型模拟计算机化自适应测试？
• RQ2 支持自定义项目选择、能力估计和测试终止的 CAT 模拟所需的关键组件是什么？
• RQ3 该软件包在支持自适应和线性测试模拟方面，能实现多大程度的项目使用和响应可追溯性？
• RQ4 该软件包的模块化设计在多大程度上可实现与第三方测试应用程序的集成？
• RQ5 与现有工具相比，使用基于 Python 的框架进行 CAT 模拟在实际应用中具有哪些优势？

主要发现

• catsim 在 Python 中成功实现了基于 IRT 模型的完整功能计算机化自适应测试模拟环境。
• 该软件包支持对项目选择和考生响应的详细日志记录，有助于结果的可重现性和分析。
• 用户可通过插件组件自定义核心 CAT 程序，如项目选择和停止规则。
• 模拟器支持自适应和线性测试设计，显著提升了其在研究和应用开发中的通用性。
• 模块化架构支持与第三方测试应用程序的集成，扩展了其在模拟之外的实用性。
• 提供了可视化工具，可用于绘制模拟结果，包括项目曝光率和随时间变化的能力估计轨迹。