[논문 리뷰] Bayesian Item Response Modeling in R with brms and Stan

Paul‐Christian Bürkner|arXiv (Cornell University)|2019. 05. 23.

Mental Health Research Topics참고 문헌 61인용 수 103

한 줄 요약

브이스(Bayes) IRT 모델링을 R에서 brms와 Stan으로 시연하여, 공변량, 사전분포, 모델 비교와 함께 유연하고 다층적이며 분포형 IRT 명세를 가능하게 한다.

ABSTRACT

Item Response Theory (IRT) is widely applied in the human sciences to model persons' responses on a set of items measuring one or more latent constructs. While several R packages have been developed that implement IRT models, they tend to be restricted to respective prespecified classes of models. Further, most implementations are frequentist while the availability of Bayesian methods remains comparably limited. We demonstrate how to use the R package brms together with the probabilistic programming language Stan to specify and fit a wide range of Bayesian IRT models using flexible and intuitive multilevel formula syntax. Further, item and person parameters can be related in both a linear or non-linear manner. Various distributions for categorical, ordinal, and continuous responses are supported. Users may even define their own custom response distribution for use in the presented framework. Common IRT model classes that can be specified natively in the presented framework include 1PL and 2PL logistic models optionally also containing guessing parameters, graded response and partial credit ordinal models, as well as drift diffusion models of response times coupled with binary decisions. Posterior distributions of item and person parameters can be conveniently extracted and post-processed. Model fit can be evaluated and compared using Bayes factors and efficient cross-validation procedures.

연구 동기 및 목표

• brms와 Stan에 기반한 유연한 Bayesian IRT 프레임워크를 소개한다.
• 다층적 공식 구문 내에서 광범위한 IRT 모델을 지정하고 적합하는 방법을 보여준다.
• 공변량, DIF, 분포 파라미터를 IRT 모델에 포함시키는 방법을 설명한다.
• 베이지안 맥락에서 사람/아이템 파라미터에 대한 사전 선택 및 모델 식별에 대해 논의한다.
• 실제 데이터에 프레임워크를 적용하기 위한 실용적인 실습 예제와 지침을 제공한다.

제안 방법

• distributional IRT 모델을 지정하기 위해 brms의 비선형/다층 공식 구문을 사용한다.
• 적응형 해밀토니안 몬테카를로(MCMC) 기반의 베이지안 추정을 Stan으로 활용한다.
• 내장된 40개 이상의 응답 분포를 지원하고 사용자 정의 분포를 허용한다.
• 공변량 효과와 상호작용을 포함하여 개인과 아이템의 고정 효과 및 랜덤 효과를 모델링한다.
• 상관 구조를 위한 LKJ 사전 분포를 포함한 계층적(부분 풀링) 사전 분포를 포함한다.
• 모델 비교(Bayes factors, 교차 검증 등) 및 사후분포의 사후처리에 대한 접근법을 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 brms와 Stan을 사용하여 하나의 유연한 프레임워크 내에서 Bayesian IRT 모델을 지정할 수 있는가?
• RQ2 이 접근법을 통해 어떤 범위의 응답 분포 및 비선형/분포형 IRT 모델을 구현하고 추정할 수 있는가?
• RQ3 공변량, 차별 아이템 작동(DIF), 사전을 어떻게 통합하여 추정 및 추론을 개선할 수 있는가?
• RQ4 Bayesian IRT에서 모델 식별, 사전 선택 및 모델 비교를 위한 실용적 가이드는 무엇인가?
• RQ5 실제 데이터에서 이 프레임워크를 Hands-on 예제로 적용하여 적용된 IRT 문제를 어떻게 해결할 수 있는가?

주요 결과

• brms/Stan 프레임워크는 1PL, 2PL, 3PL, GRM, PCM, RPCM, 및 drift-diffusion 변형 등 다양한 응답 유형에 걸친 여러 IRT 모델을 지원한다.
• 비선형 및 분포형 예측 변수를 지정할 수 있어, 아이템 판단도수(discrimination) 및 다른 파라미터가 공변량에 따라 달라지거나 의존하는 유연한 모델링을 가능하게 한다.
• 사람 및 아이템 수준에서의 사전 분포를 설정할 수 있으며, 비계층적 및 계층적(부분 풀링) 구조를 포함하고, 상관 관계를 위한 LKJ 사전 분포를 포함한다.
• 프레임워크는 Bayes factors 및 모델 평가를 위한 효율적인 교차 검증 등 베이지안 모델 비교를 지원한다.
• DIF와 같은 일반적인 IRT 문제는 베이지안 프레임워크 내의 상호작용 항 및 공변량 선택 방법을 통해 탐구할 수 있다.
• 모든 자료와 예제는 GitHub에서 제공되며, 결과 재현을 위한 특정 brms 버전 요구사항(2.11.5+)이 명시되어 있다.