[논문 리뷰] Probabilistic Models for Computerized Adaptive Testing: Experiments

Martin Plajner, Jiří Vomlel|arXiv (Cornell University)|2016. 01. 28.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 3인용 수 3

한 줄 요약

이 논문은 281명의 문법 학교 학생들로부터 확득한 실증 데이터를 사용하여 컴퓨터 기반 적응형 시험(CAT)에서 확률 모델—항목 반응 이론(IRT), 베이지안 네트워크(BNs), 신경망(NNs)—를 평가한다. 10개의 교차검증을 시행하여 모델 성능을 비교한 결과, 새로운 베이지안 네트워크 모델이 IRT 및 신경망 접근 방식보다 학생 능력 추정에서 더 높은 성공률로 응답을 예측하는 데 뛰어난 성능을 보였다.

ABSTRACT

This paper follows previous research we have already performed in the area of Bayesian networks models for CAT. We present models using Item Response Theory (IRT - standard CAT method), Bayesian networks, and neural networks. We conducted simulated CAT tests on empirical data. Results of these tests are presented for each model separately and compared.

연구 동기 및 목표

• 컴퓨터 기반 적응형 시험(CAT)에서 세 가지 확률 모델—IRT, 베이지안 네트워크, 신경망—의 성능을 평가하고 비교하는 것.
• 표현 능력이 향상된 전문가가 구조화한 새로운 BNs를 도입하여 이전의 베이지안 네트워크 모델을 개선하는 것.
• 표준 평가 지표를 사용하여 실제 학생 시험 데이터를 바탕으로 시뮬레이션된 CAT 절차를 통해 모델의 효과성을 평가하는 것.
• 비-IRT 모델이 기존의 IRT 표준에 비해 동등하거나 이를 초월하는 성능을 낼 수 있는지 조사하는 것.

제안 방법

• 10개의 교차검증을 시행: 각 폴드에서 90%의 데이터로 모델을 훈련하고, 10%의 데이터로 테스트.
• 정보 양을 극대화하는 방식으로 질문을 탐욕적으로 선택하고, 각 응답 후 모델을 갱신하는 방식으로 CAT 절차를 시뮬레이션.
• 기능 변수에 대한 주변 확률 분포를 사용하여 MAP 추정을 통해 각 질문에 대한 가장 가능성이 높은 답을 예측: $ x_i^* = \arg\max_{x_i} P(X_i = x_i | \boldsymbol{S}) $.
• 성공 비율 지표를 사용하여 모델을 평가: $ \mathrm{SR}_s^t = \frac{1}{|\mathcal{X}|} \sum_{X_i \in \mathcal{X}} I(x_i^* = x_i') $, 모든 질문에 대해 예측 정확도를 측정.
• 신경망의 경우, 직접적으로 학생 점수를 예측하기 위해 은닉층이 하나인 순방향 신경망을 훈련하고, 백프로파게이션을 사용하며 은닉층 크기를 다양하게 조정(3, 5, 7개 뉴런).
• 예측 점수의 분산을 극대화하는 방식으로 질문을 선택: $ X^* = \arg\max_i \mathrm{Var}(SC | X_{i,x}) $, 정보 수확량을 극대화하기 위함.

실험 결과

연구 질문

• RQ1 베이지안 네트워크 모델은 CAT에서 응답 예측 정확도 측면에서 표준 IRT 모델과 비교해 어떻게 성능을 내는가?
• RQ2 실제 학생 응답 데이터로 훈련된 신경망 모델은 적응형 시험을 효과적으로 지원할 수 있는가?
• RQ3 7+1개의 은닉 변수를 가진 제안된 새로운 베이지안 네트워크 모델은 이전의 BN 모델과 IRT 기준선을 초월하는가?
• RQ4 질문 선택 전략은 적응형 시험에서 모델 예측의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ5 비-IRT 확률 모델은 최소한의 응답으로부터 학생 능력을 추정하는 데서 IRT와 동등하거나 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 7+1개의 은닉 변수를 가진 새로운 베이지안 네트워크 모델이 모든 테스트된 모델 중에서 학생 응답 예측 성공률가 가장 높았다.
• IRT 모델은 양호한 성능를 보였지만, 특히 시험 초반 단계에서 새로운 BN 모델에 뒤지게 되었다.
• 신경망 모델은 응답 예측 정확도 향상 속도가 가장 느렸으며, 시간이 지남에 따라 점진적으로 성공률이 증가했다.
• 성공 비율 $ \mathrm{SR}_0 $, 즉 어떤 질문도 제시되지 않은 상태에서의 기초 예측 성능는 신경망 모델에서 가장 낮아 초기 추정 능력이 열악함을 시사했다.
• 새로운 BN 모델은 뚜렷한 성능 우위를 보였으며, 이는 BN에 전문가 지식이 체계적으로 통합될 경우 적응형 시험에서 추정 정확도 향상에 기여함을 시사한다.
• 연구 결과는 향후 BN 모델의 향상 가능성을 지역적 구조 모델링(예: 결정론적 조건부 확률 표)을 통해 달성할 수 있으며, 파rameter 수를 줄이면서도 표현력을 높일 수 있음을 시사한다.