[論文レビュー] Computerized Adaptive Testing Simulation Through the Package catsim

Douglas De Rizzo Meneghetti, Plínio Thomaz Aquino|arXiv (Cornell University)|Jul 10, 2017

Educational Technology and Assessment被引用数 3

ひとこと要約

この論文では、項目反応理論（IRT）モデルを用いたコンピュータ支援適応型テスト（CAT）のシミュレーションを可能にするPythonベースのパッケージ、catsimを紹介する。本パッケージは、項目選択、熟練度推定、テスト終了のシミュレーションを可能にし、受験者の回答と項目露出の完全なログ記録をサポートしており、適応型および線形テスト設計の両方を対応可能にしている。

ABSTRACT

This paper presents catsim, the first package written in the Python language specialized in computerized adaptive tests and the logistical models of Item Response Theory. catsim provides functions for generating item and examinee parameters, simulating tests and plotting results, as well as enabling end users to create new procedures for proficiency initialization, item selection, proficiency estimation and test stopping criteria. The simulator keeps a record of the items selected for each examinee as well as their answers and also enables the simulation of linear tests, in which all examinees answer the same items. The various components made available by catsim can also be used in the creation of third-party testing applications. Examples of such usages are also presented in this paper.

研究の動機と目的

• 項目反応理論（IRT）モデルに基づいたコンピュータ支援適応型テスト（CAT）のシミュレーションを目的とした、専用でオープンソースのPythonパッケージの開発。
• 研究者および開発者に、CAT手順のテストおよび比較が可能な柔軟なフレームワークの提供。
• 項目選択と熟練度推定、テスト終了のカスタマイズが可能な、適応型および線形テストの両方のシミュレーションを可能にし、項目露出および受験者回答の詳細なログ記録を実現。
• 熟練度初期化、項目選択、推定、停止基準のカスタム手順の実装を可能にする拡張性の支援。
• モジュラー設計により、CATコンponentsをサードパーティのテストアプリケーションに統合しやすくする。

提案手法

• ロジスティックモデルを用いたIRTベースの項目および受験者パラメータの生成の実装。
• 熟練度初期化、項目選択、推定、停止基準のためのプラグインコンポーネントを許容するモジュラーなアーキテクチャの設計。
• リアルタイムでの熟練度推定に基づいて動的に項目を選択することで、適応型テストのシミュレーションを実施。
• 全受験者が同じ固定された項目セットに回答する線形テストシミュレーションのサポート。
• 各シミュレーション実行における選択された項目および受験者回答のログ記録。
• シミュレーション結果の可視化関数の統合、特に項目露出および熟練度推移のプロットを含む。

実験結果

リサーチクエスチョン

• RQ1 どのように柔軟で拡張可能なPythonパッケージを設計し、IRTモデルを用いたコンピュータ支援適応型テストのシミュレーションを実現できるか？
• RQ2 カスタマイズ可能な項目選択、熟練度推定、テスト終了のためのCATシミュレーションに必要な主要なコンponentsは何か？
• RQ3 本パッケージは、項目使用状況および回答のトレーサビリティを完全に確保しながら、適応型および線形テストシミュレーションをどの程度サポートできるか？
• RQ4 本パッケージのモジュラー設計は、サードパーティのテストアプリケーションへの統合をどの程度可能にするか？
• RQ5 既存のツールと比較して、Pythonベースのフレームワークを用いたCATシミュレーションの実用的利点は何か？

主な発見

• catsimは、Pythonを用いた項目反応理論（IRT）モデルに基づくコンピュータ支援適応型テストの包括的シミュレーション環境を正常に実装した。
• 本パッケージは、項目選択および受験者回答の詳細なログ記録を可能にし、再現性および分析を支援している。
• ユーザーは、プラグインコンポーネントを介して、項目選択や停止ルールなどのCATのコア手順をカスタマイズ可能である。
• シミュレータは、適応型および線形テスト設計の両方をサポートしており、研究およびアプリケーション開発における多様性を高めている。
• モジュラーなアーキテクチャのおかげで、サードパーティのテストアプリケーションへの統合が可能となり、シミュレーションの範囲を超えた有用性が拡張されている。
• 項目露出および時間経過に伴う熟練度推定のプロットを含む、シミュレーション結果の可視化ツールが提供されている。