[논문 리뷰] A Survey of Knowledge Tracing: Models, Variants, and Applications

Shuanghong Shen, Qi Liu외 5명|arXiv (Cornell University)|2021. 05. 06.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 168인용 수 73

한 줄 요약

이 조사(서베이)는 지식추적(KT) 모델을 확률적, 로지스틱, 그리고 심층학습 기반 접근으로 포괄적으로 분류하고; 모델 변형을 검토하며 오픈소스 KT 라이브러리 EduData와 EduKTM를 공개하고 KT 응용과 향후 방향을 논의한다.

ABSTRACT

Modern online education has the capacity to provide intelligent educational services by automatically analyzing substantial amounts of student behavioral data. Knowledge Tracing (KT) is one of the fundamental tasks for student behavioral data analysis, aiming to monitor students' evolving knowledge state during their problem-solving process. In recent years, a substantial number of studies have concentrated on this rapidly growing field, significantly contributing to its advancements. In this survey, we will conduct a thorough investigation of these progressions. Firstly, we present three types of fundamental KT models with distinct technical routes. Subsequently, we review extensive variants of the fundamental KT models that consider more stringent learning assumptions. Moreover, the development of KT cannot be separated from its applications, thereby we present typical KT applications in various scenarios. To facilitate the work of researchers and practitioners in this field, we have developed two open-source algorithm libraries: EduData that enables the download and preprocessing of KT-related datasets, and EduKTM that provides an extensible and unified implementation of existing mainstream KT models. Finally, we discuss potential directions for future research in this rapidly growing field. We hope that the current survey will assist both researchers and practitioners in fostering the development of KT, thereby benefiting a broader range of students.

연구 동기 및 목표

• 지식 추적(KT)과 온라인 교육에서의 중요성을 동기화하고 정의한다.
• 확률적, 로지스틱, 심층학습 기반의 KT 모델에 대한 체계적 분류 체계를 제공한다.
• 학습 전, 중, 후의 학습 과정을 모델링하는 변형들을 검토한다.
• KT를 위한 사용 가능한 데이터셋과 오픈 소스 라이브러리(EduData, EduKTM)를 강조한다.
• 교육 시나리오 전반에서의 KT 응용을 논의하고 향후 연구 방향을 제시한다.

제안 방법

• KT 모델을 확률적, 로지스틱, 심층학습 기반의 세 가지 범주로 분류한다.
• 기초적 KT 모델(Bayesian Knowledge Tracing, Dynamic Bayesian Knowledge Tracing, LFA, PFA, KTM 등)과 그 기술적 특성을 요약한다.
• DKT, 기억 기반 KT, 운동/연습 기반 KT, 어텐션 기반 KT, 그래프 기반 KT 등 심층학습 KT 계열과 대표 메커니즘(RNN/LSTM, 메모리 네트워크, 어텐션, 트랜스포머)을 자세히 다룬다.
• 풍부한 부가 정보와 인지 가정을 갖춘 학습 전/학습 중/학습 후 단계의 변형들을 검토한다.
• 오픈 소스 리소스(EduData, EduKTM)를 제공하고 KT 응용 및 향후 방향을 요약한다.

실험 결과

연구 질문

• RQ1 확률적, 로지스틱, 및 심층학습 패러다임에 걸친 핵심 KT 모델과 그 배치를 무엇인가?
• RQ2 KT 변형들이 학습 전/중/후의 역학 및 부가 정보를 어떻게 포착하는가?
• RQ3 KT 평가와 구현의 표준화를 위해 어떤 데이터셋과 오픈 소스 도구가 존재하는가?
• RQ4 다양한 교육 환경에서 KT의 주요 응용은 무엇이며 어떤 향후 방향이 가장 유망한가?

주요 결과

• 세 가지 모델 패밀리: 확률적, 로지스틱, 심층학습 기반 KT로 구성된다.
• 기본 모델을 확장한 다양한 KT 변형들이 전체 학습 과정과 부가 정보를 포착하도록 확장된다.
• 두 개의 오픈 소스 라이브러리(EduData와 EduKTM)는 데이터셋과 통합 구현을 제공하며 KT 연구를 지원한다.
• KT 응용이 적응 학습, 자원 추천, 교육용 게임 등 다양한 시나리오에서 가능하다.
• 본 고찰은 KT 방법과 적용 가능성을 개선하기 위한 잠재적 향후 연구 방향을 제시한다.