[論文レビュー] Application and Simulation of Computerized Adaptive Tests Through the Package catsim

Douglas De Rizzo Meneghetti, Plínio Thomaz Aquino|arXiv (Cornell University)|Jul 10, 2017

Engineering and Test Systems参考文献 10被引用数 9

ひとこと要約

この論文は、項目反応理論（IRT）モデルを用いたコンピュータ適応型テスト（CAT）のシミュレーションを可能にする、新しいPythonパッケージcatsimを紹介する。ユーザーはアイテムおよび受験者のパラメータを生成し、初期化、アイテム選択、推定、停止ルールをカスタマイズ可能なCATをシミュレートし、結果を可視化できる。研究開発用およびアプリケーション開発用に拡張可能でモジュラーなコンponentsを備え、PythonベースのCATシミュレーションツールにおける重要な空白を埋めている。

ABSTRACT

This paper presents catsim, the first package written in the Python language specialized in computerized adaptive tests and the logistical models of Item Response Theory. catsim provides functions for generating item and examinee parameters, simulating tests and plotting results, as well as enabling end users to create new procedures for proficiency initialization, item selection, proficiency estimation and test stopping criteria. The simulator keeps a record of the items selected for each examinee as well as their answers and also enables the simulation of linear tests, in which all examinees answer the same items. The various components made available by catsim can also be used in the creation of third-party testing applications. Examples of such usages are also presented in this paper.

研究の動機と目的

• 研究者や開発者向けに、専用でオープンソースのPythonベースのCATシミュレーションツールが不足している問題を解決すること。
• アイテム選択、応答、熟練度推定の履歴を完全に追跡可能なモジュラーで拡張可能なフレームワークを提供すること。
• さまざまなIRTモデル下で、適応型テストと線形テストの両方をシミュレート可能にし、CAT設計の方法論的比較や事前テストを可能にすること。
• アイテム特性曲線、テスト進行状況、アイテム露出率の可視化機能を提供し、テストの評価と設計を支援すること。
• 再利用可能でドキュメントが整備されたコンponentsを提供し、外部のテストアプリケーションへの統合を可能にすること。

提案手法

• パッケージは、熟練度初期化、アイテム選択、熟練度推定、テスト停止基準というCATコンponentsを分離したモジュラーなアーキテクチャを実装している。
• ロジスティックIRTモデル（例：1PL、2PL、3PL）を採用し、数値計算にはnumpyやscipyなどの科学的Pythonライブラリを活用している。
• シミュレータは、各受験者のテスト履歴（選択されたアイテム、応答、各ステップ後の推定熟練度）を完全に保持している。
• 指定されたパラメータを持つアイテムバンクの生成、テスト運用のシミュレーション、ICC、情報曲線、テスト進行のプロットなどの結果表示関数を提供している。
• オブジェクト指向インターフェースを介してカスタム手続きを定義可能で、セレクターや推定器といったコアCATコンponentsの拡張が可能である。
• 可視化関数には、アイテム曲線（ICC、IIC、両方）、テスト進行（熟練度、標準誤差、情報量）、アイテム露出率（ヒストグラムまたは折れ線図）のプロットが含まれている。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、IRTベースのテストに特化した包括的で拡張可能かつ使いやすいPythonパッケージを実装できるか？
• RQ2 シミュレートされたCAT環境において、さまざまなアイテム選択法および熟練度推定戦略の性能および行動的差異は何か？
• RQ3 catsimは、実世界への導入前に新しいCAT手法の設計と評価をどの程度サポートできるか？
• RQ4 catsimのモジュラーなコンponentsは、外部のテストアプリケーションや大規模な評価システムへの統合において、どの程度再利用可能か？
• RQ5 catsimは、アイテムバンクおよびテスト結果の分析・検証を支援するためのどの程度の可視化機能を提供するか？

主な発見

• catsimは、IRTモデリングに特化した、Pythonネイティブの最初のパッケージであり、科学的Pythonエコシステムにおける重要な空白を埋めている。
• 本パッケージは、アイテム選択、応答、熟練度推定の履歴を完全にログ記録することができ、適応型テストと線形テストの両方のシミュレーションを成功裏に実行している。
• アイテム特性曲線、情報曲線、テスト進行状況（標準誤差や情報量の推移を含む）の可視化が可能である。
• アイテム露出率の記録が可能で、アイテムパラメータごとにソートした状態やヒストグラムとしてプロット可能であり、過剰使用されたアイテムの特定に役立つ。
• モジュラー設計により、ユーザーは初期化、選択、推定、停止ルールをカスタム実装可能で、研究開発やアプリケーション開発の柔軟性が向上している。
• catsimのコンponentsはシミュレーション以外の用途でも再利用可能であり、本番のテストアプリケーションへの統合が可能である。