[논문 리뷰] Knowledge Query Network for Knowledge Tracing: How Knowledge Interacts with Skills

Jinseok Lee, Dit‐Yan Yeung|arXiv (Cornell University)|2019. 03. 04.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 21인용 수 20

한 줄 요약

이 논문은 학생의 학습 활동을 지식 상태 및 기술 벡터로 인코딩하고, 내적 곱을 통해 이들의 상호작용을 모델링하여 해석 가능한 예측을 가능하게 하는 새로운 지식 추적 모델인 지식 질의 네트워크(KQN)를 제안한다. KQN은 네 가지 공개 데이터셋에서 최신 기준 성능을 달성하면서도 직관적인 해석과 기술 영역의 군집화를 가능하게 하는 확률적 기술 유사도를 도입한다.

ABSTRACT

Knowledge Tracing (KT) is to trace the knowledge of students as they solve a sequence of problems represented by their related skills. This involves abstract concepts of students' states of knowledge and the interactions between those states and skills. Therefore, a KT model is designed to predict whether students will give correct answers and to describe such abstract concepts. However, existing methods either give relatively low prediction accuracy or fail to explain those concepts intuitively. In this paper, we propose a new model called Knowledge Query Network (KQN) to solve these problems. KQN uses neural networks to encode student learning activities into knowledge state and skill vectors, and models the interactions between the two types of vectors with the dot product. Through this, we introduce a novel concept called probabilistic skill similarity that relates the pairwise cosine and Euclidean distances between skill vectors to the odds ratios of the corresponding skills, which makes KQN interpretable and intuitive. On four public datasets, we have carried out experiments to show the following: 1. KQN outperforms all the existing KT models based on prediction accuracy. 2. The interaction between the knowledge state and skills can be visualized for interpretation. 3. Based on probabilistic skill similarity, a skill domain can be analyzed with clustering using the distances between the skill vectors of KQN. 4. For different values of the vector space dimensionality, KQN consistently exhibits high prediction accuracy and a strong positive correlation between the distance matrices of the skill vectors.

연구 동기 및 목표

• 기존 모델을 초월하여 지식 추적의 예측 정확도를 향상시키기.
• 학생 학습에서 지식-기능 상호작용의 해석 가능하고 직관적인 설명 제공하기.
• 학습된 벡터 표현을 통해 기술 관계의 시각화 및 분석 가능하게 하기.
• 벡터 거리 기반의 확률적 기술 유사도 측정법을 개발하여 군집화 및 영역 분석에 활용하기.

제안 방법

• KQN은 신경망을 사용하여 학생의 학습 시퀀스를 공유된 벡터 공간 내의 지식 상태 및 기술 벡터로 임베딩한다.
• 지식 상태 벡터와 기술 벡터 간의 내적 곱을 통해 지식-기능 상호작용을 모델링하여 정답 예측을 수행한다.
• 확률적 기술 유사도를 도입하여 기술 벡터 간의 코사인 거리와 유클리드 거리를 기반으로 기술 쌍의 오즈 비율과 연결한다.
• 벡터 표현을 학습함으로써 다양한 차원성에서 거리 행렬과 예측 성능 간의 강한 정적 상관관계를 유지한다.
• 학습된 벡터 거리 기반으로 지식-기능 상호작용의 시각화를 가능하게 하여 해석성 향상과 기술 군집화 지원

실험 결과

연구 질문

• RQ1 지식 추적 모델이 기존 방법을 초월하여 더 높은 예측 정확도를 달성할 수 있는가?
• RQ2 지식 상태와 기술 간의 상호작용을 의미 있는 방식으로 시각화하고 해석할 수 있는가?
• RQ3 모델의 기술 벡터 표현이 기술 유사성 기반으로 의미 있는 기술 군집화를 지원하는가?
• RQ4 벡터 공간 차원성이 변화하더라도 높은 성능 유지를 보장하는가?

주요 결과

• KQN은 네 가지 공개 데이터셋에서 모든 기존 지식 추적 모델을 능가하는 예측 정확도를 확보했다.
• 지식 상태와 기술 간의 상호작용을 시각화할 수 있어 학생 학습 역학의 직관적 이해가 가능하다.
• KQN의 기술 벡터에서 유도된 확률적 기술 유사도는 의미적 및 구조적 관계를 기반으로 한 기술 영역의 효과적 군집화를 가능하게 한다.
• KQN은 다양한 벡터 공간 차원 설정에서도 높은 예측 정확도를 유지하며, 기술 벡터 거리 행렬과 모델 성능 간에 강한 정적 상관관계를 보였다.