[논문 리뷰] Deep Knowledge Tracing with Convolutions

Shanghui Yang, Mengxia Zhu외 2명|arXiv (Cornell University)|2020. 07. 26.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 27인용 수 6

한 줄 요약

이 논문은 최근 학생의 응답에 미치는 짧은 기간 효과를 캡처하기 위해 3차원 컨볼루션을 사용함으로써 지식 추적을 향상시키는 딥러닝 모델인 컨볼루션 지식 추적(CKT)을 제안한다. 이로 인해 잊혀지는 곡선을 더 효과적으로 모델링할 수 있다. CKT는 ASSISTments2009 데이터셋에서 DKT와 DKVMN보다 AUC가 각각 1.55와 2.03 높고, ASSISTments2015 데이터셋에서는 각각 1.01과 1.96 높은 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Knowledge tracing (KT) has recently been an active research area of computational pedagogy. The task is to model students mastery level of knowledge based on their responses to the questions in the past, as well as predict the probabilities that they correctly answer subsequent questions in the future. A good KT model can not only make students timely aware of their knowledge states, but also help teachers develop better personalized teaching plans for students. KT tasks were historically solved using statistical modeling methods such as Bayesian inference and factor analysis, but recent advances in deep learning have led to the successive proposals that leverage deep neural networks, including long short-term memory networks, memory-augmented networks and self-attention networks. While those deep models demonstrate superior performance over the traditional approaches, they all neglect more or less the impact on knowledge states of the most recent questions answered by students. The forgetting curve theory states that human memory retention declines over time, therefore knowledge states should be mostly affected by the recent questions. Based on this observation, we propose a Convolutional Knowledge Tracing (CKT) model in this paper. In addition to modeling the long-term effect of the entire question-answer sequence, CKT also strengthens the short-term effect of recent questions using 3D convolutions, thereby effectively modeling the forgetting curve in the learning process. Extensive experiments show that CKT achieves the new state-of-the-art in predicting students performance compared with existing models. Using CKT, we gain 1.55 and 2.03 improvements in terms of AUC over DKT and DKVMN respectively, on the ASSISTments2009 dataset. And on the ASSISTments2015 dataset, the corresponding improvements are 1.01 and 1.96 respectively.

연구 동기 및 목표

• 기존 딥러닝 모델이 최근 학생의 응답에 미치는 영향을 과소평가하는 경향이 있다는 한계를 해결하기 위해.
• 최근 질문에 대한 영향을 강조함으로써 지식 추적에 잊혀지는 곡선 이론을 딥러닝 기반 모델에 통합하기 위해.
• 장기적이고 단기적 지식 상태 역학을 모델링하여 향후 학생 성과 예측의 정확도를 향상시키기 위해.
• 순차적 모델링과 3차원 컨볼루션을 사용한 국소적 시간 패턴 추출을 결합한 새로운 아키텍처를 개발하기 위해.

제안 방법

• CKT 모델은 3차원 컨볼루션 레이어를 사용하여 학생의 응답 시퀀스를 처리하여 여러 질문과 지식 개념 간의 시간적 의존성을 캡처한다.
• 3차원 컨볼루션을 적용하여 정답/오답 응답의 시퀀스에서 국소 패턴을 추출하고, 최근 응답에 초점을 맞춰 단기적 지식 유지 상태를 모델링한다.
• 순환 또는 밀집 네트워크를 통한 장기적 순차적 표현과 3차원 컨볼루션을 통한 단기적 패턴을 통합하여 지식 상태 추정을 정밀화한다.
• 최종 예측 헤드는 융합된 표현을 사용하여 학생이 다음 질문에 정답을 맞출 확률을 추정한다.
• 학습은 학생의 응답 시퀀스에 대한 이진 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 수행된다.
• 3차원 컨볼루션의 사용은 고차원의 시간 패턴을 학습할 수 있게 하며, 더 높은 수준의 필터는 최근 응답 추세에 집중한다.

실험 결과

연구 질문

• RQ1 최근 학생의 응답에 미치는 짧은 기간 효과를 모델링하면 지식 추적 성능이 향상되는가?
• RQ2 딥러닝 모델에 잊혀지는 곡선 이론을 통합하면 지식 추적 예측 정확도가 얼마나 향상되는가?
• RQ3 제안된 3차원 컨볼루션 메커니즘은 표준 RNN과 어텐션 기반 모델에 비해 학습의 시간적 동역학을 얼마나 효과적으로 포착하는가?
• RQ4 CKT 모델은 다양한 교육 데이터셋과 학생 응답 패턴에 일반화되는가?

주요 결과

• ASSISTments2009 데이터셋에서 CKT는 DKT 모델 대비 AUC가 1.55 점수 상승했다.
• 동일한 데이터셋에서 CKT는 DKVMN 모델 대비 AUC가 2.03 점 향상되었다.
• ASSISTments2015 데이터셋에서 CKT는 DKT 대비 AUC가 1.01 점 향상되었고, DKVMN 대비 1.96 점 향상되었다.
• 성능 향상은 3차원 컨볼루션을 통해 최근 응답을 모델링함으로써 학생 학습에서 잊혀지는 곡선을 효과적으로 캡처할 수 있음을 보여준다.
• 결과는 최근 응답 패턴이 지식 상태 추정에 상당한 영향을 미치며, 지식 추적 모델에서 우선적으로 고려되어야 한다는 것을 확인한다.
• CKT는 두 개의 기준 데이터셋에서 모두 지식 추적 분야의 새로운 최신 기술 수준 성능을 확립했다.