[論文レビュー] LNIRT: An R Package for Joint Modeling of Response Accuracy and Times

Jean‐Paul Fox, Konrad Klotzke+1 more|arXiv (Cornell University)|Jun 18, 2021

Statistical Methods and Bayesian Inference参考文献 27被引用数 8

ひとこと要約

LNIRT Rパッケージは、階層的項目反応理論モデルを用いて、コンピュータベースのテストにおける応答の正答率と反応時間のベイズ連合モデリングを可能にする。効率的なギブスサンプリングを用いたMCMC推定を採用し、複数のパrameterizationをサポートし、欠損データに対応し、モデル適合度評価および外れ値検出のためのツールを備え、教育的評価におけるスピード・アキュラシーのトレードオフの分析を顕著に改善する。

ABSTRACT

In extit{computer-based testing} it has become standard to collect response accuracy (RA) and response times (RTs) for each test item. IRT models are used to measure a latent variable (e.g., ability, intelligence) using the RA observations. The information in the RTs can help to improve routine operations in (educational) testing, and provide information about speed of working. In modern applications, the joint models are needed to integrate RT information in a test analysis. The R-package LNIRT supports fitting joint models through a user-friendly setup which only requires specifying RA, RT data, and the total number of Gibbs sampling iterations. More detailed specifications of the analysis are optional. The main results can be reported through the summary functions, but output can also be analysed with Markov chain Monte Carlo (MCMC) output tools (i.e., coda, mcmcse). The main functionality of the LNIRT package is illustrated with two real data applications.

研究の動機と目的

• 教育的評価における応答正答率（RA）と反応時間（RTs）の連合モデリングのためのアクセス可能なソフトウェアツールの不足に対処すること。
• 高次のベイジアン推定をサポートするオープンソースで保守可能なRパッケージを構築すること。
• 説明変数、欠損データ処理（MARおよび欠損設計由来の欠損）および柔軟なパrameterizationといった現代的拡張を統合すること。
• 個人および項目の適合度を評価するための強力なツールを提供すること。これにはベイジアン有意差検定と残差分析を含む。
• 自己相関が低く、有効サンプルサイズが大きな効率的なMCMCサンプリングを実現し、ブラックボックスMCMC手法を凌駆する性能と同定可能性を達成すること。

提案手法

• 応答正答率は2パラメータ正規オイブI RTモデルに従い、反応時間は対数正規分布に従い、対数変換されたRTに正規モデルを適用する階層ベイジアンフレームワークを採用する。
• 後方分布推定にギブスサンプリングを用い、収束性と有効サンプルサイズを最適化するためのカスタム設計のサンプラーを採用し、ブラックボックスMCMCツールの制限を回避する。
• ヴァン・デル・レンデン（2007）およびクライン・エンティンクら（2009）のモデルを含む、連合モデルの複数のパrameterizationをサポートし、スピードと能力のモデリングにおける柔軟性を提供する。
• 個人および項目レベルに説明変数を統合し、スピードとアキュラシーの異質性をモデル化可能にし、共変数を用いたインフォームドモデリングを可能にする。
• MARおよび欠損設計由来の欠損の両条件下で欠損データの補完手法を統合し、不完全なテスト設計下でもモデルの妥当性と推定精度を維持する。
• 後方予測チェックおよびベイジアン有意差検定を用いた、個人適合度および項目適合度の評価ツールを提供し、異常な応答パターンを検出する。

実験結果

リサーチクエスチョン

• RQ1 応答正答率と反応時間の連合モデリングは、コンピュータベースのテストにおける能力およびスピード推定の精度をどのように向上させるか？
• RQ2 高次元の階層モデルにおいて、ブラックボックスMCMCツールに比べて、カスタムギブスサンプラーが収束速度および有効サンプルサイズの観点でどのような利点をもたらすか？
• RQ3 個人および項目レベルの説明変数を用いることで、スピード・アキュラシーのトレードオフのモデリングはどの程度向上するか？
• RQ4 連合モデリングフレームワーク内での応答正答率および反応時間の欠損データは、どのように効果的に処理できるか？
• RQ5 ベイジアンモデル適合度診断は、組み合わせたRAおよびRTパターンに基づき、異常な受験者および問題のある項目を検出できるか？

主な発見

• LNIRTパッケージは、収束が速く、有効サンプルサイズが高いカスタムギブスサンプラーを用いて、ブラックボックスMCMC手法を上回る性能で効率的なベイジアン連合モデリングを実装した。
• 本パッケージは、ヴァン・デル・レンデン（2007）およびクライン・エンティンクら（2009）のモデルを含む、連合モデルの複数のパrameterizationをサポートし、さまざまなテスト状況への適用可能性を高めた。
• 広範な残差分析およびベイジアン適合統計量により、組み合わせたRAおよびRTパターンに基づく、異常な受験者および適合度の悪い項目の信頼性のある検出が可能となった。
• 本パッケージは、MARおよび欠損設計由来の欠損の両条件下で欠損データを処理でき、モデルの妥当性と推定精度を維持した。
• Rでの実装により、オープンアクセス性、拡張性、保守可能性が確保され、レガシのcirt FORTRANプログラムの制限を克服した。
• 本パッケージは、個人および項目レベルに説明変数を組み込むことを可能とし、個人および項目レベルのスピードとアキュラシーの差異をより洗練された形でモデリングできるようになった。