[논문 리뷰] Assessing the Performance of Diagnostic Classification Models in Small Sample Contexts with Different Estimation Methods

Motonori Oka, Kensuke Okada|arXiv (Cornell University)|2021. 04. 22.

Statistical Methods and Bayesian Inference참고 문헌 24인용 수 6

한 줄 요약

이 연구는 최대우도(ML), 베이지안, 비모수적 추정 방법을 사용한 복합 시뮬레이션 설계를 통해 소표본 환경에서 진단 분류 모델(DCMs)의 성능을 평가한다. 결과적으로, 베이지안 추정은 단순 DCM에서 약간 더 높은 응답자 분류 정확도를 보이며, 특히 소표본에서 최대우도보다 더 안정적인 항목 파ameter 복원을 제공하지만, 양자 모두 파ameter 불안정성과 경계 문제에 직면해 있다.

ABSTRACT

Fueled by the call for formative assessments, diagnostic classification models (DCMs) have recently gained popularity in psychometrics. Despite their potential for providing diagnostic information that aids in classroom instruction and students' learning, empirical applications of DCMs to classroom assessments have been highly limited. This is partly because how DCMs with different estimation methods perform in small sample contexts is not yet well-explored. Hence, this study aims to investigate the performance of respondent classification and item parameter estimation with a comprehensive simulation design that resembles classroom assessments using different estimation methods. The key findings are the following: (1) although the marked difference in respondent classification accuracy was not observed among the maximum likelihood (ML), Bayesian, and nonparametric methods, the Bayesian method provided slightly more accurate respondent classification in parsimonious DCMs than the ML method, and in complex DCMs, the ML method yielded the slightly better result than the Bayesian method; (2) while item parameter recovery was poor in both Bayesian and ML methods, the Bayesian method exhibited unstable slip values owing to the multimodality of their posteriors under complex DCMs, and the ML method produced irregular estimates that appear to be well-estimated due to a boundary problem under parsimonious DCMs.

연구 동기 및 목표

• 교실 평가에서 흔히 볼 수 있는 소표본 환경에서 진단 분류 모델(DCMs)의 성능을 평가하기 위해.
• 최대우도(ML), 베이지안, 비모수적 추정 방법 간의 응답자 분류 정확도와 항목 파ameter 추정 정확도를 비교하기 위해.
• 모델의 복잡성(단순 대 비단순 DCM), 표본 크기(20–40), 항목 수가 추정 성능에 미치는 영향을 조사하기 위해.
• 제한된 데이터를 가진 실제 교실 환경에서 DCM을 적용하기 위한 실용적 권고를 도출하기 위해.
• 다양한 추정 방법과 모델 유형에서 항목 파ameter(미스 및 추측)의 안정성과 편향을 검토하기 위해.

제안 방법

• 다섯 개의 DCM(DINA, DINO, RRUM, CRUM, LCDM)을 사용한 복합 시뮬레이션 연구를 수행하였으며, 각 모델은 해당 진짜 모델에서 유도되었다.
• 다양한 조건에서 시뮬레이션 데이터를 생성하였는데, 표본 크기 20 및 40, 항목 수 10–30, 그리고 속성 수 3–5였다.
• 세 가지 추정 방법을 사용하여 추정을 수행하였다: 최대우도(ML), 기대사후분포(EAP) 추정을 사용한 베이지안 추정, 비모수적 추정.
• 모델 적합도와 파ameter 복원을 평가하기 위해 분류 정확도, 평균제곱근오차(RMSE), 추정된 항목 파am터(미스 및 추측)의 편향을 사용하였다.
• 모든 시뮬레이션에서 Q-매트릭스는 정확하게 지정되었으며, 추정 방법과 표본 크기의 영향을 분리하기 위해 고려하였다.
• 연구는 응답자 분류 정확도와 항목 파am터 복원을 모두 평가하였으며, 특히 소표본 행동에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 소표본 크기에서 ML, 베이지안, 비모수적 추정 방법 간의 응답자 분류 정확도는 어떻게 비교되는가?
• RQ2 표본 크기(20–40)는 DCM에서 응답자 분류 정확도와 항목 파am터 추정 정확도에 어떤 영향을 미치는가?
• RQ3 소표본 조건에서 단순 DCM과 복잡 DCM 간의 성능 차이는 무엇인가?
• RQ4 ML과 베이지안 추정에서 소표본에서 추정된 미스 및 추측 파am터의 안정성과 편향은 어떻게 되는가?
• RQ5 ML 추정에서 경계 문제는 어떤 조건에서 나타나며, 베이지안 추정은 항목 파am터의 다모드 사후분포를 어떻게 다루는가?

주요 결과

• 베이지안 추정은 단순 DCM에서 ML보다 약간 더 높은 응답자 분류 정확도를 보였지만, 복잡 DCM에서는 ML이 약간 더 우수한 성능을 보였다.
• 항목 파am터 복원은 전반적으로 열악했으며, 소표본(N=20, 40)에서 ML과 베이지안 모두 미스 및 추측 파am터의 RMSE가 높았다.
• ML 추정은 경계 문제를 보였으며, DINA 및 DINO 모델에서 미스 및 추측 파am터가 0.0001로 수렴하여 잘못된 양호한 적합도 인식을 유도했다.
• 베이지안 추정은 복잡 DCM에서 CRUM 및 LCDM의 미스 파am터에 대해 다모드 사후분포를 생성하여 파am터 복원의 불안정성을 나타냈다.
• 항목 수를 늘리면 ML과 베이지안 모두에서 편향과 RMSE가 감소하여, 더 긴 평가가 추정 정밀도를 향상시킨다는 것을 시사했다.
• 한계가 있음에도 불구하고, 더 안정적인 분류 성능과 사전 지식 통합 능력을 고려할 때, 소표본 교실 적용에는 베이지안 추정을 권장한다.