[논문 리뷰] Extending Deep Knowledge Tracing: Inferring Interpretable Knowledge and Predicting Post-System Performance

Richard Scruggs, Ryan S. Baker외 1명|arXiv (Cornell University)|2019. 10. 14.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 지식 추정을 시퀀스 모델링에 통합하여 해석 가능한 학생 지식을 추론할 수 있도록 Deep Knowledge Tracing (DKT) 및 Dynamic Key-Value Memory Networks (DKVMN)를 확장한다. 이 방법은 BKT와 PFA에 비해 사후시험 성과와의 상관관계를 향상시키며, 기존 지식 추정 모델보다 학습자의 장기적 학습 결과를 더 잘 예측할 수 있는 학습된 지식 표현의 유용성을 입증한다.

ABSTRACT

Recent student knowledge modeling algorithms such as Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Networks (DKVMN) have been shown to produce accurate predictions of problem correctness within the same learning system. However, these algorithms do not attempt to directly infer student knowledge. In this paper we present an extension to these algorithms to also infer knowledge. We apply this extension to DKT and DKVMN, resulting in knowledge estimates that correlate better with a posttest than knowledge estimates from Bayesian Knowledge Tracing (BKT), an algorithm designed to infer knowledge, and another classic algorithm, Performance Factors Analysis (PFA). We also apply our extension to correctness predictions from BKT and PFA, finding that knowledge estimates produced with it correlate better with the posttest than BKT and PFA's standard knowledge estimates. These findings are significant since the primary aim of education is to prepare students for later experiences outside of the immediate learning activity.

연구 동기 및 목표

• 기존의 DKT 및 DKVMN와 같은 딥러닝 모델의 한계를 해결하기 위해, 정답 여부 예측은 하지만 학생의 지식을 추론하지 못하는 문제를 해결하고자 한다.
• 모델이 예측한 지식이 사후시험으로 측정된 실제 학생의 학습 결과와 더 잘 일치하도록 하기 위해 노력한다.
• 베이지안 지식 추정(BKT)과 성과 요인 분석(PFA)을 지식 추론 기능으로 확장하여 그 예측 타당성을 향상시키고자 한다.
• 딥러닝 모델에서 유도된 지식 추정치가 기존의 BKT와 PFA 지식 추정치보다 사후시험 성과와 더 강한 상관관계를 가지는지 평가하고자 한다.

제안 방법

• 저자는 시퀀스 인코더 위에 지식 추론 헤드를 도입하여 DKT와 DKVMN를 수정하여 정답 예측과 함께 해석 가능한 지식 추정치를 출력하도록 한다.
• 지식 추론 헤드는 미분 가능한 어텐션 메커니즘을 사용하여 은닉 상태를 지식 상태 벡터로 매핑함으로써 연속적이고 해석 가능한 지식 표현을 가능하게 한다.
• 정답 예측과 지식 상태 예측을 결합한 다중 작업 손실을 사용하여 지식 추정치를 종합적으로 훈련시킨다.
• 정답 예측을 위한 이진 교차 엔트로피와 지식 상태 추정을 위한 평균 제곱 오차를 동시에 최소화하도록 모델을 공동 최적화한다.
• 지식 추정치는 사후시험 점수와의 상관관계를 측정하여 그 예측 타당성을 평가한다.
• 이 방법은 BKT와 PFA에도 적용되어 기존의 표준 지식 추정 방식을 새로운 딥러닝 기반의 추론 기반 메커니즘으로 대체한다.

실험 결과

연구 질문

• RQ1 DKT와 DKVMN와 같은 딥러닝 모델을 정답 예측을 넘어서 학생의 지식 상태를 해석 가능한 방식으로 추론할 수 있도록 확장할 수 있는가?
• RQ2 DKT와 DKVMN에서 유도된 지식 추정치가 기존의 BKT와 PFA 지식 추정치보다 사후시험 성과와 더 강한 상관관계를 가지는가?
• RQ3 BKT와 PFA에 동일한 지식 추론 메커니즘을 적용할 경우, 사후시험 결과와의 상관관계에서 기존의 제작 방식보다 지식 추정 정확도가 향상되는가?
• RQ4 딥러닝 모델에 지식 추론을 통합함으로써 기존의 지식 추정 모델보다 장기적 학습 결과 예측 능력이 향상될 수 있는가?

주요 결과

• 확장된 DKT와 DKVMN 모델은 BKT와 PFA의 표준 지식 추정치보다 사후시험 성과와 더 강한 상관관계를 보인다.
• 확장된 모델의 지식 추정치는 사후시험 점수 예측에서 BKT와 PFA를 능가하며, 실제 학습 성과와의 일치도가 더 높음을 시사한다.
• 동일한 지식 추론 메커니즘을 BKT와 PFA에 적용할 경우, 원래의 제작 방식보다 사후시험 성과와의 상관관계가 향상된 것으로 나타났다.
• 정답 예측과 지식 상태 추정을 동시에 수행하는 다중 작업 학습 설정은 더 견고하고 해석 가능한 지식 표현을 가능하게 한다.
• 결과적으로 딥러닝 모델이 장기적 학습 결과를 예측할 수 있도록 해석 가능한 방식으로 지식을 추론할 수 있음을 입증한다.
• 연구는 지식 추론이 교육 시스템에서 시퀀스 모델링에 가치 있는 확장임을 실증적으로 제시하며, 특히 즉각적인 학습 환경을 넘어서는 성과 예측에 특히 유용하다.