[논문 리뷰] An IRT-based Model for Omitted and Not-reached Items

Jinxin Guo|arXiv (Cornell University)|2019. 04. 07.

Psychometric Methodologies and Testing참고 문헌 31인용 수 3

한 줄 요약

이 논문은 교육적 및 심리적 검사에서 생략된 항목과 도달하지 못한 항목을 구분하기 위해 능력에 연관된 비무시적 누락성(nonignorable missingness)을 누적 누락성 메커니즘으로 모델링하는 IRT 기반의 새로운 모델을 제안한다. MCMC를 통한 베이지안 추정을 통해 리스트와이즈 삭제(Listwise deletion) 및 무시 가능한 모델에 비해 더 뛰어난 매개변수 복원 및 모델 적합도를 보이며, 특히 비무시적 누락성 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Missingness is a common occurrence in educational assessment and psychological measurement. It could not be casually ignored as it may threaten the validity of the test if not handled properly. Considering the difference between omitted and not-reached items, we developed an IRT-based model to handle these missingness. In the proposed method, not-reached responses are captured by the cumulative missingness. Moreover, the nonignorability is attributed to the correlation between ability and person missing trait. We proved that its item parameters estimate under maximum marginal likelihood (MML) estimation is consistent. We further proposed a Bayesian estimation procedure using MCMC methods to estimate all the parameters. The simulation results indicate that the model parameters under the proposed method are better recovered than that under listwise deletion, and the nonignorable model fits the simulated nonignorable nonresponses better than ignorable model in terms of Bayesian model selection. Furthermore, the Program for International Student Assessment (PISA) data set was analyzed to further illustrate the usage of the proposed method.

연구 동기 및 목표

• 시간 제한으로 인해 생략된 항목과 도달하지 못한 항목이 모두 원인이 되는 비무시적 누락 데이터 문제를 다루기.
• 의도적으로 건너뛴 항목(omitted items)과 시간 제약로 인해 도달하지 못한 항목(not-reached items)을 기존 모델에서 종종 혼동하는 것을 방지하고, 이를 구분하기.
• 시험 응시자의 능력과 누락성 경향 사이의 상관관계를 고려한 통계적으로 일관된 IRT 기반 모델 개발로, 타당한 매개변수 추정 보장.
• 비무시적 누락성 하에서도 강건성을 높이기 위해 IRT 매개변수와 누락 데이터 메커니즘을 함께 추정하는 MCMC 기반의 베이지안 추정 프레임워크 제공.
• 시뮬레이션 연구와 실제 PISA 데이터를 활용한 성능 평가를 통해 기존의 리스트와이즈 삭제 및 무시 가능한 모델에 비해 모델의 우수성을 입증함.

제안 방법

• 응시자 능력과 관측된 응답에 따라 누락성이 결정되는 비무시적 모델을 사용하여 능력과 누락성 특성 간의 상관관계를 포착하는 누락 데이터 메커니즘을 수식화함.
• 잠재변수 구조를 통해 누적 누락성 과정을 통해 도달하지 못한 응답을 모델링하고, 생략된 항목과의 차이를 명확히 구분함.
• 선택 모델(Selection Model, SLM) 기반의 공동 우도 모델을 구성하여 응답과 누락 지표의 공동 분포를 P(R,Y|Ω) = P(R|Y,Ω)P(Y|Ω)로 인수분해함.
• Gibbs 샘플링을 사용한 MCMC 기반의 베이지안 추정을 구현하며, IRT 매개변수(a_j, b_j, ζ_j)와 누락성 매개변수(γ_0, γ_1, γ_2)에 대해 정보가 풍부한 사전분포를 사용하고, 이론적 기대를 반영하기 위해 제약 조건을 설정함.
• 베이지안 모델 비교를 위해 사영도 정보 기준(DIC)과 가짜 주변우도의 로그(LPML)를 사용하며, CPO 추정에서 수치적 안정성을 확보하기 위해 U_ij,max를 활용함.
• 모델을 시뮬레이션된 데이터와 실제 PISA 데이터에 적용하여 다양한 누락 패턴에서의 성능과 해석 가능성 검증함.

실험 결과

연구 질문

• RQ1 비무시적 누락성으로 인해 생략된 항목과 도달하지 못한 항목이 모두 존재할 경우, 제안된 IRT 모델이 항목 매개변수와 능력 매개변수를 얼마나 잘 복원하는가?
• RQ2 기존의 모델이 생략 및 도달하지 못한 항목을 하나의 누락 유형으로 취급하는 데 비해, 제안된 모델은 이들을 더 효과적으로 구분할 수 있는가?
• RQ3 리스트와이즈 삭제가 편향을 유발하는 비무시적 누락성 하에서도 베이지안 MCMC 추정 절차가 일관되고 신뢰할 수 있는 매개변수 추정을 제공하는가?
• RQ4 시뮬레이션 및 실제 데이터에서 DIC와 LPML 기반의 모델 적합도 측정치를 통해 제안된 비무시적 모델이 무시 가능한 모델보다 우수한가?
• RQ5 실제 PISA 데이터에 적용했을 때, 모델의 실증적 성능는 어떻게 되며, 특히 응시자 능력과 누락 패턴 간의 관계를 얼마나 잘 포착하는가?

주요 결과

• 비무시적 누락성 상황에서 리스트와이즈 삭제에 비해 제안된 모델이 IRT 항목 매개변수와 누락성 매개변수 양쪽 모두에서 더 뛰어난 매개변수 복원 성능을 보였다.
• DIC와 LPML를 통한 베이지안 모델 선택 결과, 비무시적 모델이 무시 가능한 모델보다 시뮬레이션된 비무시적 비응답 데이터에 대해 유의미하게 더 뛰어난 적합도를 보였다.
• 최대 우도 추정(MML)의 결과가 일관성을 보여, 제안된 누락성 메커니즘 하에서도 타당한 추론이 가능함을 입증함.
• PISA 데이터 분석 결과, 모델은 누락성의 비무시적 성격을 성공적으로 포착했으며, 낮은 능력 수준의 학생일수록 항목을 생략하거나 도달하지 못할 가능성이 높다는 경향을 드러냄.
• MCMC 샘플링 절차는 안정적인 수렴과 신뢰할 수 있는 사후 분포 추정을 보였으며, 추론에 필요한 효과적 샘플 크기가 충분히 확보됨.
• CPO 계산에서 U_ij,max의 사용으로 LPML 추정의 수치적 안정성이 확보되어 고차원 누락 데이터 모델에서 흔히 발생하는 문제를 방지함.