[논문 리뷰] LNIRT: An R Package for Joint Modeling of Response Accuracy and Times

Jean‐Paul Fox, Konrad Klotzke외 1명|arXiv (Cornell University)|2021. 06. 18.

Statistical Methods and Bayesian Inference참고 문헌 27인용 수 8

한 줄 요약

LNIRT R 패키지는 MCMC 추정과 적합도 진단을 통한 베이지안 계층적IRT 모델을 사용하여 컴퓨터 기반 시험에서 반응 정확도와 반응 시간의 베이지안 동시 모델링을 가능하게 한다. 이 패키지는 효율적인 게lesi 샘플링을 활용하여 수렴 속도와 효과적 샘플 크기를 향상시키며, 다양한 매개변수화 방식을 지원하고, 결측 데이터를 처리하며, 모형 적합도 평가 및 이방성 검출 도구를 포함하여 교육 평가에서 속도-정확도 트레이드오프 분석을 크게 향상시킨다.

ABSTRACT

In extit{computer-based testing} it has become standard to collect response accuracy (RA) and response times (RTs) for each test item. IRT models are used to measure a latent variable (e.g., ability, intelligence) using the RA observations. The information in the RTs can help to improve routine operations in (educational) testing, and provide information about speed of working. In modern applications, the joint models are needed to integrate RT information in a test analysis. The R-package LNIRT supports fitting joint models through a user-friendly setup which only requires specifying RA, RT data, and the total number of Gibbs sampling iterations. More detailed specifications of the analysis are optional. The main results can be reported through the summary functions, but output can also be analysed with Markov chain Monte Carlo (MCMC) output tools (i.e., coda, mcmcse). The main functionality of the LNIRT package is illustrated with two real data applications.

연구 동기 및 목표

• 교육 평가에서 반응 정확도(RA)와 반응 시간(RTs)의 동시 모델링을 위한 접근 가능한 소프트웨어 도구의 부족을 해결하기 위해.
• 고급 베이지안 추정을 위한 계층적 RA 및 RT 데이터 동시 모델을 지원하는 오픈소스이자 유지보수 가능한 R 패키지를 개발하기 위해.
• 설명 변수, 결측 데이터 처리(MAR 및 결측 설계 기반), 그리고 유연한 매개변수화와 같은 현대적 확장 기능을 통합하기 위해.
• 개인 및 항목 적합도 평가를 위한 강력한 도구를 제공하여, 베이지안 유의성 검정과 잔차 분석을 포함한 후행 예측 검증을 통해 이방성 반응 패턴을 탐지하기 위해.
• 낮은 자기상관과 높은 효과적 샘플 크기를 확보하는 효율적인 MCMC 샘플링을 통해 블랙박스 MCMC 도구를 뛰어넘는 성능과 식별 가능성 향상을 위해.

제안 방법

• 반응 정확도는 이원수정 정규오르빗 IRT 모델을 따르고, 반응 시간은 로그정규분포를 따르며, 로그 변환된 RT에 대해 정규 모델을 적용하는 계층적 베이지안 프레임워크를 사용한다.
• 후행 분포 추정을 위해 게lesi 샘플링을 활용하며, 수렴 속도와 효과적 샘플 크기를 최적화하기 위해 특수 설계된 샘플러를 사용하여 블랙박스 MCMC 도구의 한계를 피한다.
• 반응 속도와 능력 모델링의 유연성을 위해, van der Linden(2007)과 Klein Entink 등(2009)의 모델을 포함한 다양한 동시 모델 매개변수화를 지원한다.
• 개인 및 항목 수준의 설명 변수를 통합하여 속도와 정확도의 이질성을 모델링할 수 있도록 하여 공변수 기반 모델링을 가능하게 한다.
• MAR 및 결측 설계 기반 조건에서의 결측 데이터에 대한 임퓨티션 방법을 통합하여, 불완전한 시험 설계에서도 모델의 타당성과 추정 정확도를 유지한다.
• 후행 예측 검증과 베이지안 유의성 검정을 활용한 개인 및 항목 적합도 평가 도구를 제공하여 이방성 반응 패턴을 탐지한다.

실험 결과

연구 질문

• RQ1 반응 정확도와 반응 시간의 동시 모델링은 컴퓨터 기반 시험에서 능력과 속도 추정의 정밀도를 어떻게 향상시킬 수 있는가?
• RQ2 고차원 계층적 모델에서 수렴 속도와 효과적 샘플 크기 측면에서 블랙박스 MCMC 도구에 비해 맞춤형 게lesi 샘플러가 가지는 이점은 무엇인가?
• RQ3 개인 및 항목 수준의 설명 변수는 속도-정확도 트레이드오프 모델링을 얼마나 향상시킬 수 있는가?
• RQ4 결합된 RA 및 RT 프로파일 기반으로 반응 정확도와 반응 시간의 결측 데이터를 공동 모델링 프레임워크 내에서 효과적으로 다룰 수 있는가?
• RQ5 베이지안 모형 적합도 진단은 결합된 RA 및 RT 패턴을 바탕으로 이방성 시험 응시자와 문제 항목을 탐지할 수 있는가?

주요 결과

• LNIRT 패키지는 블랙박스 MCMC 도구에 비해 수렴 속도가 빠르고 효과적 샘플 크기가 높은 맞춤형 게lesi 샘플러를 사용하여 반응 정확도와 반응 시간의 효율적인 베이지안 동시 모델링을 성공적으로 구현하였다.
• 패키지는 van der Linden(2007)과 Klein Entink 등(2009)의 모델을 포함한 다양한 동시 모델 매개변수화를 지원하여 다양한 시험 환경에서의 적용 가능성을 높였다.
• 광범위한 잔차 분석과 베이지안 적합도 통계량을 통해 결합된 RA 및 RT 패턴 기반으로 이방성 응시자와 적합도가 떨어지는 항목을 신뢰성 있게 탐지할 수 있었다.
• 패키지는 MAR 및 결측 설계 기반 조건에서의 결측 데이터 처리를 지원하여 모델의 타당성과 추정 정확도를 유지하였다.
• R에서의 구현 덕분에 접근성, 확장성, 유지보수성이 보장되어 고전적인 cirt FORTRAN 프로그램의 한계를 극복하였다.
• 패키지는 개인 및 항목 수준의 설명 변수 포함을 지원하여 개인 및 항목 수준의 속도와 정확도 차이를 더 세밀하게 모델링할 수 있도록 하였다.