[論文レビュー] Bayesian Item Response Modeling in R with brms and Stan

Paul‐Christian Bürkner|arXiv (Cornell University)|May 23, 2019

Mental Health Research Topics参考文献 61被引用数 103

ひとこと要約

R で brms と Stan を用いたベイズIRTモデリングを実演し、共変量、事前分布、モデル比較を含む柔軟で階層的・分布型のIRT仕様を可能にします。

ABSTRACT

Item Response Theory (IRT) is widely applied in the human sciences to model persons' responses on a set of items measuring one or more latent constructs. While several R packages have been developed that implement IRT models, they tend to be restricted to respective prespecified classes of models. Further, most implementations are frequentist while the availability of Bayesian methods remains comparably limited. We demonstrate how to use the R package brms together with the probabilistic programming language Stan to specify and fit a wide range of Bayesian IRT models using flexible and intuitive multilevel formula syntax. Further, item and person parameters can be related in both a linear or non-linear manner. Various distributions for categorical, ordinal, and continuous responses are supported. Users may even define their own custom response distribution for use in the presented framework. Common IRT model classes that can be specified natively in the presented framework include 1PL and 2PL logistic models optionally also containing guessing parameters, graded response and partial credit ordinal models, as well as drift diffusion models of response times coupled with binary decisions. Posterior distributions of item and person parameters can be conveniently extracted and post-processed. Model fit can be evaluated and compared using Bayes factors and efficient cross-validation procedures.

研究の動機と目的

• brms と Stan に基づく柔軟なベイズIRTフレームワークを紹介する。
• 階層モデルの式法構文内で広範なIRTモデルを指定・推定する方法を示す。
• 共変量、DIF、分布パラメータをIRTモデルに組み込む方法を説明する。
• ベイズ文脈における個人/項目パラメータの事前分布の選択とモデル同定について論じる。
• 実データへの適用に向けた実践的な手順付き例とガイダンスを提供する。

提案手法

• brms の非線形/階層式式法構文を用いて分布型IRTモデルを指定する。
• 適応型ハミルトニアンモンテカルロを用いたMCMCベイズ推定のためにStanを活用する。
• 40を超える内蔵応答分布をサポートし、ユーザー定義分布を許容する。
• 個人と項目の固定効果とランダム効果の両方をモデル化し、共変量効果と交互作用を含める。
• 階層的（部分プーリング）事前分布と相関構造のためのLKJ事前分布を取り入れる。
• Bayes因子や交差検証などのモデル比較のアプローチと事後分布の後処理を提供する。

実験結果

リサーチクエスチョン

• RQ1 brms と Stan を用いた単一の柔軟なフレームワーク内で、ベイズIRTモデルをどのように指定できるか？
• RQ2 このアプローチで実装・推定可能な応答分布の範囲と非線形/分布型IRTモデルはどの程度か？
• RQ3 共変量、DIF、事前分布を統合して推定と推論を改善するにはどうすればよいか？
• RQ4 ベイズIRTにおけるモデル同定、事前分布の選択、モデル比較の実用的な指針は？
• RQ5 実データでの実践的な例を用いてこのフレームワークを適用し、応用IRTの問いにどう対処できるか？

主な発見

• brms/Stan フレームワークは 1PL, 2PL, 3PL, GRM, PCM, RPCM, および drift-diffusion のバリアントを含む、複数の応答タイプに跨る幅広いIRTモデルをサポートします。
• 非線形および分布型予測子を指定できるため、項目区別度などのパラメータが共変量に依存する柔軟なモデリングが可能です。
• 個人レベルと項目レベルの事前分布を設定でき、非階層および階層的（部分プーリング）構造のオプション、相関のLKJ事前分布を含みます。
• ベイズ因子を用いたモデル比較と、モデル評価のための効率的な交差検証を可能にします。
• DIF などの一般的なIRT問題は、相互作用項や共変量選択法を通じてベイズフレームワーク内で検討できます。
• すべての資料と例は GitHub にあり、結果を再現するための brms のバージョン要件（2.11.5+）が提供されます。