[논문 리뷰] Probabilistically-autoencoded horseshoe-disentangled multidomain item-response theory models

Joshua C. Chang, Shashaank Vattikuti외 1명|arXiv (Cornell University)|2019. 12. 05.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 4

한 줄 요약

이 논문은 다차원 항목반응이론(IRT)을 위한 통합적이고 단일 단계의 확률적 오토에코딩 프레임워크를 제안한다. 이 프레임워크는 내부 IRT 요인 분해를 위한 허시우 사전분포를 통합하여 사전 모델링이 필요 없는 요인 분석을 제거한다. IRT를 베이지안 신경망 인코더를 갖춘 확률적 오토에코더로 재정의함으로써, 더 안정적이고 해석 가능한 잠재 특성 추정이 가능해지며, WAIC를 통한 차원 수 선택이 가능해진다. 또한 정확한 평가를 위해 사후 종속성을 유지한다.

ABSTRACT

Item response theory (IRT) is a non-linear generative probabilistic paradigm for using exams to identify, quantify, and compare latent traits of individuals, relative to their peers, within a population of interest. In pre-existing multidimensional IRT methods, one requires a factorization of the test items. For this task, linear exploratory factor analysis is used, making IRT a posthoc model. We propose skipping the initial factor analysis by using a sparsity-promoting horseshoe prior to perform factorization directly within the IRT model so that all training occurs in a single self-consistent step. Being a hierarchical Bayesian model, we adapt the WAIC to the problem of dimensionality selection. IRT models are analogous to probabilistic autoencoders. By binding the generative IRT model to a Bayesian neural network (forming a probabilistic autoencoder), one obtains a scoring algorithm consistent with the interpretable Bayesian model. In some IRT applications the black-box nature of a neural network scoring machine is desirable. In this manuscript, we demonstrate within-IRT factorization and comment on scoring approaches.

연구 동기 및 목표

• 다차원 IRT에서 사전 모델링이 필요한 탐색적 요인 분석의 필요성을 제거하기 위해 요인 분해를 IRT 모델 내부에 직접 통합한다.
• 허시우 사전분포를 사용한 계층적 베이지안 프레임워크를 통해 항목-항목 관계의 희박한 코딩을 실현함으로써 모델의 안정성과 해석 가능성을 향상시킨다.
• IRT 생성 모델과 베이지안 신경망 인코더를 결합하여 확률적 오토에코더 아키텍처를 형성함으로써 새로운 시험 응시자의 일관된 평가를 가능하게 한다.
• 고성능 시험에서 신경망 평가의 '블랙박스' 성격을 해결하기 위해 구조적 변분 추론 또는 MCMC를 통해 사후 종속성을 유지한다.
• 예측 정확도와 불확실성 전파에 기반한 예측 정확도에 기반한 모델 선택이 가능하도록 WAIC를 사용하여 IRT의 차원 수 선택을 지원한다.

제안 방법

• 순서형 항목 반응을 모델링하기 위해 계층적 베이지안 IRT 모델을 사용하며, 이는 개인별 특성과 항목별 매개변수를 포함한다.
• 항목-특성 하중의 희박성을 유도하기 위해 허시우 사전분포를 적용함으로써, 외부 요인 분석 없이도 데이터 기반의 자동 요인 분해가 가능하다.
• IRT 모델을 확률적 디코더로 간주하고, 베이지안 신경망 인코더와 결합하여 확률적 오토에코더 아키텍처를 형성한다.
• 사후 종속성을 유지하기 위해 구조적 근사 또는 MCMC를 사용한 변분 추론(ADVI)을 적용함으로써, 단변량 평균장 근사와는 다름없이 사후 종속성을 유지한다.
• 다른 수의 잠재 특성 수를 가진 모델 간의 체계적 비교를 가능하게 하기 위해 WAIC를 사용하여 모델 비교 및 차원 수 선택을 수행한다.
• 특히 사후 종속성이 비선형적일 경우 정확한 예측 분포를 확보하기 위해 결합 사후분포에서 몬테카를로 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 희박한 코딩을 사용한 내부 IRT 요인 분해가 다차원 IRT에서 전통적인 사전 모델링 요인 분석을 대체할 수 있는가?
• RQ2 요인 분해를 IRT 모델 내부에 직접 통합함으로써 잠재 특성 추정의 안정성과 해석 가능성은 어떻게 향상되는가?
• RQ3 확률적 오토에코더 프레임워크는 기존 IRT나 블랙박스 신경망에 비해 평가 정확도와 일관성 측면에서 얼마나 향상되는가?
• RQ4 복잡한 사후 종속성이 존재하는 고차원 IRT 모델에서 WAIC는 차원 수 선택을 효과적으로 이끌 수 있는가?
• RQ5 계층적 베이지안 모델의 풀링 성질은 선형 요인 분석에 비해 IRT에서 얼마나 더 강건한 성능을 발휘하는가?

주요 결과

• 허시우 사전분포를 사용한 내부 IRT 요인 분해는 선형 요인 분석보다 더 안정적인 항목 하중을 도출하였으며, 특히 모델 간에 항목이 완전히 요인을 바꾸는 경우에 두드러졌다.
• 3차원 IRT 모델은 2차원 모델보다 略적으로 더 높은 예측 정확도를 보였지만, WAIC의 차이는 표준오차 내에 있었으며, 이는 유사한 성능를 의미한다.
• 선형 요인 분석에서 첫 번째 요인에 속해 있던 도덕적·종교적 신념 관련 항목들이 내부 IRT 요인 분해에 의해 두 번째 요인으로 정확히 재분류되었으며, 이는 내용 기반 도메인 구조와 더 잘 일치함을 반영한다.
• 내부 IRT 모델의 두 번째 차원은 세 번째 차원으로 부분적으로 유출되었지만, 선형 요인 분석은 항목을 완전히 재할당하여 베이지안 접근의 더 높은 강건성을 보였다.
• MCMC 또는 구조적 변분 추론이 사후 종속성을 유지하기 위해 필수적이었으며, 평균장 근사는 잘못된 예측 분포를 초래했다.
• 확률적 오토에코더 프레임워크는 신경망 추론을 통해 빠르고 해석 가능한 평가를 가능하게 하며, 동시에 베이지안 IRT 모델의 생성 과정과의 일관성을 유지한다.