[논문 리뷰] A Multivariate Elo-based Learner Model for Adaptive Educational Systems

Solmaz Abdi, Hassan Khosravi외 2명|arXiv (Cornell University)|2019. 10. 15.

Online Learning and Analytics인용 수 10

한 줄 요약

이 논문은 다중 개념 태그가 부여된 학습 항목을 다룰 수 있도록 기존 엘로 평가 체계를 확장한 M-Elo라는 다변량 엘로 기반 학습자 모델을 제안한다. 이는 학생 중심의 학습 환경에서 보다 향상된 적응성을 가능하게 한다. 합성 데이터 및 공개 데이터셋에서 평가한 결과, M-Elo는 표준 엘로 모델보다 약간 뛰어난 예측 성능를 보이며, 개방형 학습자 모델(OLM)에 통합될 경우 학생과 강사 모두에게 향상된 통찰을 제공한다.

ABSTRACT

The Elo rating system has been recognised as an effective method for modelling students and items within adaptive educational systems. The existing Elo-based models have the limiting assumption that items are only tagged with a single concept and are mainly studied in the context of adaptive testing systems. In this paper, we introduce a multivariate Elo-based learner model that is suitable for the domains where learning items can be tagged with multiple concepts, and investigate its fit in the context of adaptive learning. To evaluate the model, we first compare the predictive performance of the proposed model against the standard Elo-based model using synthetic and public data sets. Our results from this study indicate that our proposed model has superior predictive performance compared to the standard Elo-based model, but the difference is rather small. We then investigate the fit of the proposed multivariate Elo-based model by integrating it into an adaptive learning system which incorporates the principles of open learner models (OLMs). The results from this study suggest that the availability of additional parameters derived from multivariate Elo-based models have two further advantages: guiding adaptive behaviour for the system and providing additional insight for students and instructors.

연구 동기 및 목표

• 기존 엘로 기반 모델이 단일 개념 항목을 가정하고 있으며 주로 적응형 시험에 사용되나 적응형 학습에는 제한이 있다는 점을 해결하기 위해.
• 다양한 개념에 대해 동시에 학생의 숙련도와 항목의 난이도를 추정할 수 있는 다변량 학습자 모델을 개발하기 위해.
• 합성 데이터 및 공개 데이터셋을 사용하여 제안된 M-Elo 모델의 예측 성능를 표준 엘로 모델과 비교하기 위해.
• 실제 적응형 학습 시스템에서 M-Elo의 실용적 이점을 조사하기 위해, 특히 적응성 유도 및 개방형 학습자 모델(OLMs) 지원 측면에서.
• 장기적 적응형 학습 환경에서 엘로 기반 모델의 한계를 규명하기 위해, 특히 0-합 게임 가정과 불확실성 함수 측면에서.

제안 방법

• 각 학습 항목이 다수의 개념과 연결되고, 각 개념이 자체의 숙련도 및 난이도 평가를 가지는 다변량 프레임워크로 표준 엘로 평가 체계를 확장한다.
• 학생이 다중 개념 항목을 풀었을 때 정답 여부와 상대적 난이도를 기반으로 각 개별 개념의 평가를 업데이트하는 쌍대 비교 기반 메커니즘을 사용한다.
• 시험 횟수가 증가할수록 평가 업데이트 민감도를 감소시키는 동적 불확실성 함수를 적용하여 시간이 지남에 따라 추정치의 안정성을 높인다.
• 학생의 개념 수준 평가를 학습자와 강사가 볼 수 있도록 개방형 학습자 모델(OLMs)과 통합된 적응형 학습 시스템에 M-Elo를 통합한다.
• 표준 엘로 공식을 기반으로 한 재귀적 업데이트 규칙을 사용하며, 항목의 기여도 비율에 따라 평가 변화를 다수의 개념에 비례적으로 분배한다.
• 모델의 강건성을 테스트하기 위해 합성 데이터를 사용하고, 예측 정확도 평가를 위해 공개 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 다변량 엘로 기반 모델은 적응형 학습 시스템에서 다수의 개념에 걸쳐 학생의 숙련도와 항목의 난이도를 효과적으로 모델링할 수 있는가?
• RQ2 M-Elo의 예측 성능는 합성 및 실제 데이터셋에서 표준 엘로 기반 모델과 비교해 볼 때 어떻게 다른가?
• RQ3 적응형 학습 시스템에 통합되었을 때 M-Elo는 예측 정확도를 넘어서 어떤 추가적 이점을 제공하는가?
• RQ4 0-합 게임 가정과 불확실성 함수는 모델이 장기적 적응형 학습에 적합한지에 영향을 미치는가?
• RQ5 M-Elo는 학생과 강사에게 실질적인 통찰을 제공함으로써 개방형 학습자 모델(OLMs)을 얼마나 잘 지원할 수 있는가?

주요 결과

• 합성 데이터 실험에서 M-Elo는 다양한 파라미터 설정에서도 일관되고 예측 가능한 행동을 보였으며, 실세계 구현에 대한 강건성을 시사한다.
• 공개 벤치마크 데이터셋에서 M-Elo는 표준 엘로 모델보다 약간 뛰어난 예측 성능를 보였지만, 성능 향상은 미미했다.
• 적응형 학습 시스템에 통합된 결과, M-Elo는 개념 수준의 능력 추정이 가능해졌으며, 이는 개인의 개념 숙달 수준에 기반한 항목 선택을 통해 시스템의 적응성을 높이는 데 기여했다.
• 개방형 학습자 모델(OLMs)을 통해 M-Elo 평가가 공개되면서 학생의 시스템 추천에 대한 동기부여와 신뢰도가 향상되었다.
• 강사 피드백에 따르면 M-Elo는 반 전체 및 개인 수준의 지식 격차를 실질적인 통찰으로 제공했으며, 특히 'Map-ER-Schema'와 'Map-Schema-ER' 개념에서의 낮은 성과를 명확히 드러냈다.
• 본 연구에서는 엘로 기반 모델의 0-합 게임 설계와 불확실성 함수가 장기적 적응형 학습 환경에서 진화하는 지식 상태를 정확히 표현하는 데 장애가 될 수 있음을 규명했으며, 이러한 모델이 이와 같은 맥락에서의 한계를 가진다는 점을 시사한다.