[논문 리뷰] pyBKT: An Accessible Python Library of Bayesian Knowledge Tracing Models

Anirudhan Badrinath, Frédéric Wang외 1명|arXiv (Cornell University)|2021. 05. 02.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 29인용 수 15

한 줄 요약

pyBKT는 베이지안 지식 트레이싱(BKT) 모델과 그 현대적 변종을 구현하는 고성능, 오픈소스 파이썬 라이브러리로, 지식 트레이싱 모델의 효율적 피팅, 예측 및 교차검증을 가능하게 한다. 이는 이전의 MATLAB 기반 구현 대비 최대 30,000배 빠른 성능을 달성했으며, ASSISTments 데이터셋에서 표준 BKT의 AUC 0.76와 BKT+Forgets의 AUC 0.83을 포함한 주요 논문 결과를 높은 정확도로 재현한다.

ABSTRACT

Bayesian Knowledge Tracing, a model used for cognitive mastery estimation, has been a hallmark of adaptive learning research and an integral component of deployed intelligent tutoring systems (ITS). In this paper, we provide a brief history of knowledge tracing model research and introduce pyBKT, an accessible and computationally efficient library of model extensions from the literature. The library provides data generation, fitting, prediction, and cross-validation routines, as well as a simple to use data helper interface to ingest typical tutor log dataset formats. We evaluate the runtime with various dataset sizes and compare to past implementations. Additionally, we conduct sanity checks of the model using experiments with simulated data to evaluate the accuracy of its EM parameter learning and use real-world data to validate its predictions, comparing pyBKT's supported model variants with results from the papers in which they were originally introduced. The library is open source and open license for the purpose of making knowledge tracing more accessible to communities of research and practice and to facilitate progress in the field through easier replication of past approaches.

연구 동기 및 목표

• 연구 및 교육 소프트웨어 공동체에서 베이지안 지식 트레이싱(BKT) 및 그 변종에 대한 접근성 있고 효율적이며 확장 가능한 구현이 부족한 문제를 해결하기 위해.
• 계산적으로 효율적이고 모듈식이며 사용자 친화적인 파이썬 라이브러리를 제공하여 BKT 모델의 데이터 임포트, 모델 피팅, 예측 및 교차검증을 지원하기 위해.
• 실제 세계 데이터셋을 사용해 이전 BKT 모델 결과의 정확한 재현을 가능하게 하고, 새로운 지식 트레이싱 접근법의 개발 및 평가를 지원하기 위해.
• 표준화되고 오픈소스인 구현을 제공하여 지능형 튜터링 시스템(ITS) 연구의 재현 가능성과 과학적 진전을 향상시키기 위해.

제안 방법

• pyBKT는 학생의 응답을 관측 가능한 노드로, 숨겨진 지식 상태를 은닉 노드로 사용하는 은닉 마르코프 모델(HMM)로 BKT를 구현하며, 베이즈 정리에 기반해 시간에 따라 마스터리 확률을 갱신한다.
• 라이브러리는 기대최대화(EM) 알고리즘을 사용해 네 가지 핵심 파라미터를 추정한다: 초기 마스터리 확률(P(L₀)), 학습률(P(T)), 착각 확률(P(G)), 실수 확률(P(S)).
• KT-IDEM(항목별 착각/실수), KT-PPS(학생별 초기 확률), BKT+Forgets(시간에 따라 변하는 잊음), 항목 순서/학습 효과 모델과 같은 모델 확장 기능을 지원한다.
• 라이브러리는 한 줄의 메서드로 모델 생성, 초기화, 피팅, 예측, 평가 및 교차검증이 가능한 고수준의 Model 클래스 추상화를 제공한다.
• 데이터 처리는 일반적인 튜터 로그 형식을 수용하는 단순한 데이터 헬퍼 인터페이스를 통해 간소화되며, 파이썬의 효율적인 수치 계산을 활용해 모델 학습을 최적화한다.
• 런타임 벤치마크 결과 pyBKT는 이전 라이브러리인 xBKT 대비 3–4배 빠르며, Bayes Net Toolbox(BNT)의 MATLAB 구현 대비 거의 30,000배 빠르다.

실험 결과

연구 질문

• RQ1 현대적이고 효율적이며 접근 가능한 파이썬 라이브러리가 실제 교육 데이터셋에서 기존의 BKT 모델과 그 변종의 성능을 재현할 수 있는가?
• RQ2 pyBKT의 런타임 성능은 xBKT 및 BNT와 같은 이전 BKT 구현과 비교해 어떻게 되는가?
• RQ3 pyBKT가 BKT+Forgets 및 KT-IDEM과 같은 고전적 논문 결과를 어느 정도 재현할 수 있는가?
• RQ4 pyBKT가 KT-PPS 및 항목 순서 효과 모델과 같은 고급 BKT 변종을 원래 구현과 유사한 예측 정확도로 지원할 수 있는가?
• RQ5 BKT 모델에서 수렴성과 신뢰할 수 있는 마스터리 추정을 보장하기 위해 합리적인 학생 수와 시퀀스 길이는 얼마인가?

주요 결과

• pyBKT는 ASSISTments 2009–2010 데이터셋에서 표준 BKT 모델을 사용해 AUC 0.76를 달성했으며, Khajah 등(2017)에서 보고한 0.73에 매우 가까운 결과를 보였고, BKT+Forgets 변종을 사용하면 AUC 0.83로 향상되어 동일한 결과를 재현했다.
• ASSISTments 데이터셋의 상위 10개 기술에 대해 KT-IDEM 모델은 표준 BKT 대비 평균 AUC가 0.01932 증가했으며, 원본 연구에서의 0.021과 유사한 결과를 도출했다.
• ASSISTments Groups of Learning Opportunities 데이터셋에서 pyBKT의 KT-PPS 모델은 42개 문제 세트 중 27개에서 표준 BKT를 초월했으며, 파rameter 초기화 방식의 차이에도 불구하고 원본 연구 결과와 강한 일치를 보였다.
• pyBKT는 xBKT 대비 3–4배 빠르며, BNT MATLAB 구현 대비 거의 30,000배 빠르게 성능을 확보해 대규모 지식 트레이싱 응용에 매우 효율적이다.
• 실험 분석 결과, 50명의 학생과 시퀀스 길이 15는 다양한 학생 응답 패tern에서 안정적인 수렴과 신뢰할 수 있는 마스터리 추정을 확보하는 데 충분한 것으로 나타났다.
• 라이브러리는 이전 연구의 핵심 결과를 성공적으로 재현하여 구현 정확도를 검증하고 지식 트레이싱 연구의 재현 가능성을 지원한다.