[논문 리뷰] Back to the Basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation

Kevin H. Wilson, Yan Karklin외 2명|arXiv (Cornell University)|2016. 04. 08.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 16인용 수 64

한 줄 요약

이 논문은 학생의 전문성 수준을 추정하기 위해 베이지안 확장된 항목 반응 이론(IRT) 모델을 순환 신경망 모델인 딥 지식 트레이싱(DKT)과 비교한다. 세 개의 데이터셋에서 IRT 기반 모델—특히 계층적 IRT 변종—이 일관되게 DKT를 능가하거나 동등하게 성능을 내며, 특히 세분화된 콘텐츠 수준에서 더 뛰어난 성능, 해석 가능성, 계산 가능성을 제공한다.

ABSTRACT

Estimating student proficiency is an important task for computer based learning systems. We compare a family of IRT-based proficiency estimation methods to Deep Knowledge Tracing (DKT), a recently proposed recurrent neural network model with promising initial results. We evaluate how well each model predicts a student's future response given previous responses using two publicly available and one proprietary data set. We find that IRT-based methods consistently matched or outperformed DKT across all data sets at the finest level of content granularity that was tractable for them to be trained on. A hierarchical extension of IRT that captured item grouping structure performed best overall. When data sets included non-trivial autocorrelations in student response patterns, a temporal extension of IRT improved performance over standard IRT while the RNN-based method did not. We conclude that IRT-based models provide a simpler, better-performing alternative to existing RNN-based models of student interaction data while also affording more interpretability and guarantees due to their formulation as Bayesian probabilistic models.

연구 동기 및 목표

• 베이지안 IRT 확장 모델의 성능을 딥 지식 트레이싱(DKT)과 비교하여 학생의 응답을 예측하는 데 목적이 있다.
• 구조화된 확률적 모델인 IRT가 교육 데이터 모델링에서 딥러닝 접근법을 능가할 수 있는지 평가하는 데 목적이 있다.
• 계층적 항목 그룹화와 시간적 의존성의 영향을 전문성 수준 추정에 미치는 영향을 조사하는 데 목적이 있다.
• 세분화된 콘텐츠 수준에서 DKT와 IRT 모델의 계산 가능성과 확장성 여부를 평가하는 데 목적이 있다.
• 특히 중복 응답 문제로 인해 보고된 DKT 성능에 모순이 발생한 점을 보완하기 위해 청소된 데이터 기반 재평가를 수행하는 데 목적이 있다.

제안 방법

• 학생 능력과 항목 난이도에 정규 prior를 적용한 일변량 IRT 모델(1PO)을 베이지안 사후 추정을 통해 학습시켰다.
• 공통된 항목 특성의 이점을 활용하기 위해 항목 그룹화 구조를 통합한 계층적 IRT 모델(HIRT)을 확장하여 성능을 향상시켰다.
• 순차적 상호작용에서의 자기상관 구조를 반영하기 위해 성능를 순차적으로 모델링하는 시간적 IRT 모델(TIRT)을 개발했다.
• 학습자 정확도를 이전 응답 시퀀스 기반으로 예측하기 위해 장기 숏텀 메모리(LSTM) 네트워크를 사용해 DKT를 구현했다.
• IRT 모델은 최대 사후확률(MAP) 추정을, DKT는 경사 하강법을 사용했으며, 모든 데이터셋에서 교차검증을 실시했다.
• 공정한 비교와 온라인 예측 작업에서의 과적합 방지를 위해 중복 제거를 포함한 데이터 청소 절차를 적용했다.

실험 결과

연구 질문

• RQ1 다양한 교육 데이터셋에서 베이지안 IRT 확장 모델이 DKT를 능가하여 미래의 학생 응답을 예측할 수 있는가?
• RQ2 계층적 항목 그룹화 구조를 통합할 경우 IRT 기반 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 학생 응답 패턴의 시간적 자기상관이 모델 성능에 얼마나 기여하는가? IRT 또는 DKT 모델 중 어느 것이 이러한 구조에서 더 큰 이점을 얻는가?
• RQ4 ASSISTments에서 보고된 DKT 성능 향상 평가가 왜 과대평가되었는가? 데이터 청소는 이러한 비교에 어떤 영향을 미치는가?
• RQ5 구조화된 베이지안 모델인 IRT는 딥러닝 모델인 DKT에 비해 교육 응용 분야에서 더 뛰어난 해석 가능성과 계산 효율성을 제공할 수 있는가?

주요 결과

• 세 개의 데이터셋 전반에서 계층적 IRT(HIRT) 모델이 가장 뛰어난 성능을 보였으며, 표준 IRT 및 DKT를 모두 능가했다.
• IRT 기반 모델은 DKT가 중복 데이터를 포함한 원시 데이터로 학습된 경우조차도 모든 데이터셋에서 DKT의 성능을 따라하거나 능가했다.
• 비교적 높은 시간적 자기상관을 보인 Knewton 데이터셋에서는 시간적 IRT(TIRT) 모델이 표준 IRT를 크게 능가했지만, DKT는 유사한 성능 향상을 보이지 않았다.
• 세분화된 콘텐츠 수준에서 DKT의 성능은 계산적으로 비현실적이었으며, 특히 KDD 및 기업 전용 Knewton 데이터셋과 같은 대규모 데이터셋에서는 IRT 모델이 효과적으로 확장되었다.
• 가장 뛰어난 성능를 보인 IRT 모델(HIRT)은 항목과 그룹 식별자를 모두 사용했으며, 이는 구조화된 도메인 지식이 예측 정확도를 향상시킨다는 것을 시사한다.
• 중복 데이터를 제거한 재평가 결과, 이전 모델 대비 DKT의 20퍼센트 포인트 AUC 향상 주장은 통계적으로 타당하지 않음을 확인했으며, 이는 DKT의 성능 주장에 근거가 없음을 시사한다.