[논문 리뷰] Generalized Knowledge Tracing: A Constrained Framework for Learner Modeling

Philip I. Pavlik, Luke G. Eglington외 1명|arXiv (Cornell University)|2020. 05. 02.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 25인용 수 6

한 줄 요약

이 논문은 일반화 지식 추적(GKT)을 소개한다. GKT는 제약 조건이 있는 로지스틱 회귀 표기법을 사용하여 다양한 학습자 모델링 접근법을 형식화하고 통합하는 기호적 프레임워크이다. 6개의 데이터셋에 대해 12개의 모델(변형 및 새로운 설계 포함)을 GKT에 적합시켜 그 유연성을 입증하였으며, 어떤 모델도 일관되게 뛰어나지 않음을 확인하여 고정된 파rameter를 갖는 대안 대비 맥락 인식형, 적응형 학습자 모델의 필요성을 주장한다.

ABSTRACT

Adaptive learning technology solutions often use a learner model to trace learning and make pedagogical decisions. The present research introduces a formalized methodology for specifying learner models, Generalized Knowledge Tracing, GKT, that consolidates many extant learner modeling methods. The strength of GKT is the specification of a symbolic notation system for alternative logistic regression models that is powerful enough to specify many extant models in the literature, as well as many new models. To demonstrate the generality of GKT, it was used to fit 12 models, some variants of well-known models and some newly devised, to 6 learning technology datasets. The results indicated that no single learner model was best in all cases, further justifying a broad approach that considers multiple learner model features and the learning context. To strengthen the applicability to learning technology, the models presented here avoid student-level fixed parameters, since these are difficult to acquire in practice. We argue that to be maximally applicable a learner model needs to adapt to student differences, rather than needing to be pre-parameterized with the level of each student's ability.

연구 동기 및 목표

• 기존의 다양한 학습자 모델링 방법을 하나의 일관된 프레임워크로 통합하고 형식화하는 것.
• 실제 학습 기술 응용 프로그램에서 학생 수준의 고정 파rameter 확보의 실용적 제약을 해결하는 것.
• 사전에 능력 수준을 파ram터화하지 않아도 개인의 학생 차이에 적응할 수 있는 민감한 모델링 프레임워크를 개발하는 것.
• 여러 데이터셋과 모델 변형을 통해 프레임워크의 일반성과 효과성을 평가하는 것.

제안 방법

• 다양한 기존 및 신규 학습자 모델을 표현할 수 있는 로지스틱 회귀 모델을 위한 기호적 표기 체계를 제안한다.
• 모델 구성 요소를 체계적으로 파ram터화하여 해석 가능성과 확장성을 확보하는 제약 조건이 있는 프레임워크를 정의한다.
• 6개의 학습 기술 데이터셋에 걸쳐 기존 모델의 변형과 새로운 설계를 포함한 12개의 별도 모델을 프레임워크로 특정화한다.
• 학습자별 고정 파ram터에 의존하지 않는 통합된 학습 및 평가 파이프라인을 활용하여 모델 성능을 비교한다.
• 시간에 따른 지식 습득을 모델링하기 위해 구조화된 파ram터화를 적용한 로지스틱 회귀를 사용하며, 학습 맥락에 동적으로 적응할 수 있도록 한다.
• 실제로 확보하기 어려운 학생 수준의 고정 파ram터를 배제함으로써 모델의 유연성과 일반화 능력을 중시한다.

실험 결과

연구 질문

• RQ1 단일 기호적 프레임워크가 지식 추적 분야의 다양한 기존 및 신규 학습자 모델을 표현할 수 있는가?
• RQ2 다양한 학습 기술 데이터셋 간에 다양한 학습자 모델의 성능은 어떻게 달라지는가?
• RQ3 프레임워크에서 학생 수준의 고정 파ram터가 없는 것이 모델의 효과성이나 일반화 능력에 영향을 주는가?
• RQ4 프레임워크가 사전 능력 추정 없이도 개인의 학생 차이에 대응하는 적응형 모델링을 얼마나 잘 지원할 수 있는가?
• RQ5 다양한 학습 맥락과 데이터셋에서 유일한 최적의 학습자 모델이 존재하는가?

주요 결과

• 일반화 지식 추적(GKT) 프레임워크는 기호적 로지스틱 회귀 표기법을 사용하여 다양한 기존 및 신규 학습자 모델을 성공적으로 형식화하고 통합하였다.
• 모든 6개의 데이터셋에서 어떤 모델도 일관되게 뛰어나지 않았으며, 이는 모델 성능이 맥락에 매우 의존적임을 시사한다.
• 학습자 수준의 고정 파ram터를 배제한 프레임워크의 설계는 실세계 학습 기술 환경에서의 실용적 적용성을 높였다.
• 결과는 단일 최적 모델에 의존하기보다는 다양한 모델 특성과 학습 맥락을 고려하는 광범위한 모델링 접근의 필요성을 뒷받침한다.
• 프레임워크는 다양한 모델의 특정화 및 평가를 가능하게 하여 그 일반성과 다양한 학습 상황에 대한 적응 가능성의 우수함을 입증하였다.
• 고정된 학생 파aram터의 부재가 모델 효과성에 악영향을 주지 않았으며, 이는 실천적으로 적응형, 맥락 민감형 모델링이 가능하고 바람직함을 확인하였다.