[논문 리뷰] A Self-Attentive model for Knowledge Tracing

Shalini Pandey, George Karypis|arXiv (Cornell University)|2019. 07. 16.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 9인용 수 189

한 줄 요약

SAKT는 자체 주의(attention)를 사용하여 학생의 다음 응답을 예측하기 위해 관련 과거 연습(KCs)을 식별하고, 최첨단 KT 모델을 능가하며 RNN 기반 접근 방식보다 더 빠르게 학습합니다.

ABSTRACT

Knowledge tracing is the task of modeling each student's mastery of knowledge concepts (KCs) as (s)he engages with a sequence of learning activities. Each student's knowledge is modeled by estimating the performance of the student on the learning activities. It is an important research area for providing a personalized learning platform to students. In recent years, methods based on Recurrent Neural Networks (RNN) such as Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Network (DKVMN) outperformed all the traditional methods because of their ability to capture complex representation of human learning. However, these methods face the issue of not generalizing well while dealing with sparse data which is the case with real-world data as students interact with few KCs. In order to address this issue, we develop an approach that identifies the KCs from the student's past activities that are extit{relevant} to the given KC and predicts his/her mastery based on the relatively few KCs that it picked. Since predictions are made based on relatively few past activities, it handles the data sparsity problem better than the methods based on RNN. For identifying the relevance between the KCs, we propose a self-attention based approach, Self Attentive Knowledge Tracing (SAKT). Extensive experimentation on a variety of real-world dataset shows that our model outperforms the state-of-the-art models for knowledge tracing, improving AUC by 4.43% on average.

연구 동기 및 목표

• KT를 상호작용 시퀀스에서 학생의 지식 개념에 대한 숙련도를 예측하는 문제로 삼는 동기를 제공합니다.
• KT의 데이터 희소성을 해결하기 위해 전체 이력보다 몇 가지 관련 과거 상호작용에 집중합니다.
• 관련 과거 연습을 식별하여 미래 성과를 예측하는 자체 주의 기반 KT 모델을 제안합니다.
• 주의 중심의 관련성이 예측 성능을 향상시키고 RNN 기반 KT 모델보다 학습 속도를 높인다는 것을 보여줍니다.

제안 방법

• 과거 상호작용과 연습을 임베딩하여 입력 표현을 형성합니다.
• 시퀀스 순서를 포착하기 위해 위치 인코딩을 적용합니다.
• 다중 헤드 스케일드 닷-프로덕트 자가 주의(self-attention)를 사용하여 과거 상호작용과 현재 연습 사이의 관련성을 계산합니다.
• 주의 계산에서 미래의 상호작용을 마스킹하여 인과성을 incorporate 합니다.
• 주목된 표현을 잔차 연결과 층 정규화를 가진 피드포워드 네트워크에 전달한 후 시그모이드 출력으로 다음 응답을 예측합니다.
• 관찰된 다음 응답에 대해 이진 크로스 엔트로피 손실을 최소화하여 학습합니다.

실험 결과

연구 질문

• RQ1 자가 주의 KT 모델이 다양한 데이터 세트에서 최첨단 KT 모델(DKT, DKT+, DKVMN)을 능가할 수 있는가?
• RQ2 자체 주의가 다음 응답을 예측하기 위해 가장 관련성 높은 과거 연습을 효과적으로 식별하고 활용하는가, 특히 희소 데이터 설정에서?
• RQ3 제안된 아키텍처가 RNN 기반 KT 모델보다 학습 속도가 현저하게 빠르면서 정확도를 유지하거나 향상시키는가?
• RQ4 주의 가중치가 연습(KCs)과 학생의 성과 간의 관계를 해석하는 데 얼마나 해석 가능한가?

주요 결과

• SAKT는 데이터 세트 전반에 걸쳐 평균 AUC를 4.43 퍼센트 포인트 개선하며 최첨단 KT 방법을 능가합니다.
• 합성 데이터에서 SAKT는 DKT+의 0.824에 비해 0.832의 AUC를 달성하여 단일 시퀀스 내에서 개념이 명확하게 상관될 때 강력한 성능을 보여줍니다.
• ASSIST2009에서 SAKT는 0.848의 AUC로 DKT+과 비슷한 0.848과 0.820–0.829 사이의 다른 모델들보다 향상을 보였습니다.
• ASSIST2015에서 SAKT는 0.854의 AUC를 달성했으며, 기준선 대비 큰 이득을 보였습니다(예: 경쟁자들에서 0.736–0.737).
• ASSISTChall 및 STATICS에서도 SAKT가 기준 방법과 비슷하거나 우수한 성능을 보였으며, STATICS에서는 0.853 대 0.814–0.835의 큰 이득을 보였습니다.
• SAKT 학습 속도는 RNN 기반 모델에 비해 현저히 빠릅니다(예: Titan V GPU에서 에포크당 1.4초 대 DKT+의 65초 및 DKT의 45초).
• 주의 시각화는 잠재 개념의 클러스터링과 연습 간의 관련성을 드러내어 모델이 학습한 해석 가능한 관계를 보여줍니다.