[논문 리뷰] LOO and WAIC as Model Selection Methods for Polytomous Items

Yong Luo|arXiv (Cornell University)|2018. 06. 26.

Statistical Methods and Inference참고 문헌 49인용 수 10

한 줄 요약

이 연구는 이원형 항목 반응 이론(ICT) 모델에 대한 베이지안 모델 선택 방법으로서 이탈한 한 개 표본을 위한 교차검증(LOO)과 와타나베-아카이케 정보기준(WAIC)을 평가한다. 시뮬레이션과 실제 데이터를 사용하여, AIC, BIC, DIC 등 포함한 7가지 방법 모두 높은 통계적 검정력(>0.93)을 달성하는 것으로 나타났지만, WAIC와 LOO는 DIC보다 略적으로 낮은 검정력을 보였으나 여전히 올바른 다항형 IRT 모델을 선택하는 데 경쟁력 있는 성능을 보였다.

ABSTRACT

Watanabe-Akaike information criterion (WAIC; Watanabe, 2010) and leave-one-out cross validation (LOO) are two fully Bayesian model selection methods that have been shown to perform better than other traditional information-criterion based model selection methods such as AIC, BIC, and DIC in the context of dichotomous IRT model selection. In this paper, we investigated whether such superior performances of WAIC and LOO can be generalized to scenarios of polytomous IRT model selection. Specifically, we conducted a simulation study to compare the statistical power rates of WAIC and LOO with those of AIC, BIC, AICc, SABIC, and DIC in selecting the optimal model among a group of polytomous IRT ones. We also used a real data set to demonstrate the use of LOO and WAIC for polytomous IRT model selection. The findings suggest that while all seven methods have excellent statistical power (greater than 0.93) to identify the true polytomous IRT model, WAIC and LOO seem to have slightly lower statistical power than DIC, the performance of which is marginally inferior to those of the other four frequentist methods. Keywords: polytomous IRT, Bayesian, MCMC, model comparison.

연구 동기 및 목표

• WAIC와 LOO가 이원형 IRT 모델 선택에서 뛰어난 성능를 보이는 것이 다항형 IRT 모델로 일반화되는지 평가하기 위해.
• 진짜 다항형 IRT 모델을 선택할 때 WAIC, LOO 및 6종의 빈도주의 정보기준(AIC, BIC, AICc, SABIC, DIC) 간의 통계적 검정력 비교하기 위해.
• 실제 다항형 IRT 데이터 세트를 활용하여 LOO와 WAIC의 실용적 적용을 보여주기 위해.
• 복잡한 다범주 반응 데이터 상황에서 완전히 베이지안 모델 선택 방법의 상대적 효과성 평가하기 위해.

제안 방법

• 통제된 조건에서 모델 선택 성능을 비교하기 위해 다수의 다항형 IRT 모델을 활용한 몬테카를로 시뮬레이션 연구를 수행하였다.
• 모든 평가 대상 모델의 사후분포를 추정하기 위해 마르코프 체인 몬테카를로(MCMC) 방법을 사용하였다.
• 사후 표본을 사용하여 WAIC와 LOO를 계산하여 모델 적합도와 예측 정확도를 평가하였다.
• 기존의 정보기준(AIC, BIC, AICc, SABIC, DIC)을 활용하여 비교 기준을 마련하였다.
• 다양한 표본 크기와 모델 구성에서 통계적 검정력 비율을 통해 모델 선택 성능을 평가하였다.
• 실제 데이터 세트에 LOO와 WAIC를 적용하여 다항형 IRT 맥락에서의 실용적 유용성을 설명하였다.

실험 결과

연구 질문

• RQ1 WAIC와 LOO는 이원형 IRT 모델에서처럼 다항형 IRT 모델에서도 강력한 모델 선택 성능를 유지할 수 있는가?
• RQ2 진짜 다항형 IRT 모델을 선택할 때 WAIC와 LOO의 통계적 검정력은 AIC, BIC, AICc, SABIC, DIC와 비교해 어떻게 다른가?
• RQ3 실제 다항형 IRT 데이터에 적용했을 때 LOO와 WAIC의 실용적 성능는 어떠한가?
• RQ4 이원형 설정에서 베이지안 모델 선택 방법의 뛰어난 성능이 더 복잡한 다항형 반응 형식으로까지 확장되는가?

주요 결과

• 모든 7개의 모델 선택 방법이 진짜 다항형 IRT 모델을 식별하는 데 높은 통계적 검정력을 보였으며, 이는 0.93를 초과하였다.
• WAIC와 LOO는 DIC보다 略적으로 낮은 통계적 검정력을 보였으며, DIC는 나머지 4개의 빈도주의 방법보다 약간 덜 효과적이었다.
• 비록 약간 낮은 검정력이었지만 WAIC와 LOO는 여전히 매우 경쟁력 있었으며, 다항형 IRT 모델 선택에서 강력한 내구성을 보였다.
• 시뮬레이션 결과는 LOO와 WAIC가 다항형 IRT 프레임워크 내에서 모델 비교에 신뢰할 수 있고 효과적인 베이지안 대안임을 시사한다.
• 실제 데이터 적용 결과는 LOO와 WAIC가 실제 세계의 다항형 IRT 모델 평가에서 실용적 유용성과 해석 가능성 모두를 확보하고 있음을 확인하였다.