[논문 리뷰] EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction

Qi Liu, Zhenya Huang외 5명|arXiv (Cornell University)|2019. 06. 07.

Online Learning and Analytics참고 문헌 53인용 수 52

한 줄 요약

논문은 EERNN 및 EKT 프레임워크를 도입해 연습 문제 콘텐츠와 학생 기록을 공동으로 활용해 학생의 성과를 예측하며, EKT는 다중 개념에 걸친 지식 습득의 해석 가능한 추적을 제공한다.

ABSTRACT

For offering proactive services to students in intelligent education, one of the fundamental tasks is predicting their performance (e.g., scores) on future exercises, where it is necessary to track each student's knowledge acquisition during her exercising activities. However, existing approaches can only exploit the exercising records of students, and the problem of extracting rich information existed in the exercise's materials (e.g., knowledge concepts, exercise content) to achieve both precise predictions of student performance and interpretable analysis of knowledge acquisition remains underexplored. In this paper, we present a holistic study of student performance prediction. To directly achieve the primary goal of prediction, we first propose a general Exercise-Enhanced Recurrent Neural Network (EERNN) framework by exploring both student's records and the exercise contents. In EERNN, we simply summarize each student's state into an integrated vector and trace it with a recurrent neural network, where we design a bidirectional LSTM to learn the encoding of each exercise's content. For making predictions, we propose two implementations under EERNN with different strategies, i.e., EERNNM with Markov property and EERNNA with Attention mechanism. Then, to explicitly track student's knowledge acquisition on multiple knowledge concepts, we extend EERNN to an explainable Exercise-aware Knowledge Tracing (EKT) by incorporating the knowledge concept effects, where the student's integrated state vector is extended to a knowledge state matrix. In EKT, we further develop a memory network for quantifying how much each exercise can affect the mastery of students on concepts during the exercising process. Finally, we conduct extensive experiments on large-scale real-world data. The results demonstrate the prediction effectiveness of two frameworks as well as the superior interpretability of EKT.

연구 동기 및 목표

• 시간에 따라 지식 습득을 추적하면서 미래 학생 성과의 정확한 예측을 동기화한다.
• 연습 기록과 연습 문제의 텍스트 내용을 결합해 정보 손실을 줄인다.
• 다중 지식 개념에 대한 숙련도 추적을 해석 가능하게 제공한다.
• 연습 콘텐츠와 개념 간의 상관관계를 통해 콜드 스타트 상황을 해결한다.
• 두 가지 예측 전략을 제시하고 해석 가능한 지식 추적 프레임워크로 확장한다.

제안 방법

• 연습 콘텐츠를 양방향 LSTM으로 인코딩하고, 연습 임베딩과 응답을 통합하는 RNN/LSTM으로 학생 상태를 모델링한다.
• EERNN의 두 가지 예측 전략을 구현한다: Markov 속성을 갖는 EERNNM과 과거 상태에 대한 어텐션 메커니즘을 갖는 EERNN A.
• 지식 상태 행렬을 도입해 K개의 지식 개념에 대한 숙련도를 나타내도록 EERNN을 EKT로 확장한다.
• 각 연습이 각 지식 개념에 미치는 영향을 수량화하기 위해 기억 네트워크를 포함한 지식 임베딩 모듈을 도입한다.
• 개념 반응 입력에 따라 개념별 LSTM으로 개념별 지식 상태를 업데이트한다.
• EKT 프레임워크 내에서 예측을 위한 EKTM(마코프)과 EKTA(어텐션) 변형을 제공한다.

실험 결과

연구 질문

• RQ1 연습 콘텐츠를 지식 추적에 효과적으로 통합하여 미래 성과 예측을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 연습 콘텐츠와 개념 상관관계를 활용해 콜드 스타트 상황에서도 예측이 유지될 수 있는가?
• RQ3 다중 지식 개념에 대한 숙련도 추적을 명시적으로 수행하면 정확도 손실 없이 해석가능성을 향상시킬 수 있는가?
• RQ4 과거 연습에 대한 어텐션이 미래 성과 예측에 어떤 영향을 미치는가?
• RQ5 연습의 cross-개념 영향력을 수량화하는 메모리 기반 지식 임베딩은 어떤 정보를 제공하는가?

주요 결과

• EERNN 및 EKT 프레임워크가 미래의 연습 문제에서 학생의 성과를 효과적으로 예측한다.
• EKT는 명시된 지식 개념에 걸친 숙련도 추적으로 뛰어난 해석 가능성을 제공한다.
• 어텐션 기반 EERNNA는 관련된 과거 상태에 집중함으로써 예측 성능을 향상시킨다.
• 지식 임베딩은 개념 간 상관관계를 포착하고 콜드 스타트 상황 처리에 도움을 준다.
• 대규모 실제 데이터에 대한 실험은 일반적 시나리오와 콜드 스타트 시나리오 모두에서의 효과를 시사한다.