[논문 리뷰] BKT-LSTM: Efficient Student Modeling for knowledge tracing and student performance prediction

Sein Minn|arXiv (Cornell University)|2020. 12. 22.

Intelligent Tutoring Systems and Adaptive Learning인용 수 7

한 줄 요약

이 논문은 지식 추적 모델인 BKT-LSTM을 제안하며, 기술 숙달도를 위해 베이지안 지식 추적(BKT)을 통합하고, 학생 능력 프로파일(학습 이행)과 문제 난이도를 LSTM 기반 프레임워크에 통합한다. 원시적인 이진 상호작용 시퀀스 대신 심리적으로 해석 가능한 특징을 활용함으로써, 여러 데이터셋에서 학생의 성과 예측 성능을 향상시킨다.

ABSTRACT

Recently, we have seen a rapid rise in usage of online educational platforms. The personalized education became crucially important in future learning environments. Knowledge tracing (KT) refers to the detection of students' knowledge states and predict future performance given their past outcomes for providing adaptive solution to Intelligent Tutoring Systems (ITS). Bayesian Knowledge Tracing (BKT) is a model to capture mastery level of each skill with psychologically meaningful parameters and widely used in successful tutoring systems. However, it is unable to detect learning transfer across skills because each skill model is learned independently and shows lower efficiency in student performance prediction. While recent KT models based on deep neural networks shows impressive predictive power but it came with a price. Ten of thousands of parameters in neural networks are unable to provide psychologically meaningful interpretation that reflect to cognitive theory. In this paper, we proposed an efficient student model called BKT-LSTM. It contains three meaningful components: individual \ extit{skill mastery} assessed by BKT, \ extit{ability profile} (learning transfer across skills) detected by k-means clustering and \ extit{problem difficulty}. All these components are taken into account in student's future performance prediction by leveraging predictive power of LSTM. BKT-LSTM outperforms state-of-the-art student models in student's performance prediction by considering these meaningful features instead of using binary values of student's past interaction in DKT. We also conduct ablation studies on each of BKT-LSTM model components to examine their value and each component shows significant contribution in student's performance prediction. Thus, it has potential for providing adaptive and personalized instruction in real-world educational systems.

연구 동기 및 목표

• BKT의 한계를 해결하기 위해 기술을 독립적으로 모델링하고 기술 간 학습 이행을 포착하지 못한다는 점을 해결하기 위해.
• 딥러닝 모델인 DKT와 같이 강력한 예측 성능를 보이지만 해석이 불가능한 '블랙박스' 성격을 지닌다는 점을 해결하기 위해.
• 인지적 해석 가능성을 유지하면서도 지식 추적의 예측 정확도를 향상시키는 하이브리드 모델을 개발하기 위해.
• 각 구성 요소인 기술 숙달도, 능력 프로파일, 문제 난이도가 학생 성과 예측에 기여하는 바를 경험적으로 검증하기 위해.

제안 방법

• BKT-LSTM는 각 개별 기술에 대한 학생 숙달도 확률을 추정하기 위해 베이지안 지식 추적을 사용한다.
• 학생 상호작용 시퀀스에 k-means 군집화를 적용하여 능력 프로파일을 추출함으로써 기술 간 학습 이행을 표현한다.
• 문제 난이도는 LSTM에 입력되는 특징으로 명시적으로 모델링되어 항목 수준의 과제 난이도를 반영한다.
• LSTM은 기술 숙달도, 능력 프로파일, 문제 난이도의 시퀀스를 처리하여 다음 문제에 대한 정답 확률을 예측한다.
• 모델은 표준 역전파를 사용하여 엔드 투 엔드로 훈련되며, 손실은 이진 교차 엔트로피를 통해 최소화된다.
• 각 구성 요소는 성능 기여도를 분리하기 위해 추론 분석(ablation study)를 통해 평가된다.

실험 결과

연구 질문

• RQ1 이진 상호작용 시퀀스만 사용하는 모델과 비교해, BKT 기반 기술 숙달도, 학생 능력 프로파일, 문제 난이도를 LSTM 프레임워크에 통합하면 성능 향상이 이루어지는가?
• RQ2 기술 숙달도, 능력 프로파일, 문제 난이도와 같은 개별 구성 요소가 지식 추적의 예측 정확도에 기여하는 방식은 어떠한가?
• RQ3 해석 가능한 인지 특징을 포함함으로써 순수 데이터 기반의 딥러닝 모델인 DKT와 비교해 성능 향상이 이루어지는가?
• RQ4 문제 난이도 정보 유무에 따라 다양한 데이터 가용성 수준을 가진 다양한 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 능력 프로파일 구성 요소가 장기적인 학습 이행을 반영하고 개별 기술 숙달도를 초월해 예측 성능을 향상시키는 데 얼마나 기여하는가?

주요 결과

• BKT-LSTM는 ASSISTments09에서 AUC 0.802, ASSISTments14에서 0.707, Algebra에서 0.851를 기록하여 DKT 및 기타 최신 모델을 능가한다.
• 추론 분석 결과, 문제 난이도를 포함한 모델은 이를 포함하지 않은 모델 대비 성능이 8–10% 향상되어 가장 영향력 있는 구성 요소로 확인되었다.
• BKT-LSTM-4(모든 구성 요소 포함)는 ASSISTments09에서 RMSE 0.409, ASSISTments14에서 0.420, Algebra에서 0.353을 기록하여 뛰어난 회귀 성능를 보였다.
• 능력 프로파일 구성 요소는 유의미하게 기여하며, 이를 포함하지 않은 모델 대비 성능을 2–4% 향상시켰으며, 특히 장기적 학습 예측에서 두드러진다.
• BKT는 상당한 격차로 뒤처지며, BKT-LSTM-1(숙달도만 포함)조차도 BKT의 성능를 초월한다.
• 문제 난이도 데이터가 없는 ASSISTments14 데이터셋에서는 모든 모델이 유사한 성능를 보이며, 난이도 정보 유무가 중요하다는 점을 확인한다.