[논문 리뷰] Deep Knowledge Tracing

Chris Piech, Jonathan Bassen외 5명|arXiv (Cornell University)|2015. 06. 19.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 27인용 수 628

한 줄 요약

이 논문은 전문가가 주석을 달지 않은 상호작용 데이터로부터 학생의 지식 상태와 그 시간적 동역학을 학습하는 RNN 기반 모델인 딥 지식 트레이싱(DKT)을 소개한다. DKT는 기준 데이터셋에서 이전 최고 성능 기법 대비 AUC에서 25% 향상을 이룩했으며, 잠재 지식 구조와 연습 문제 간 관계를 자동으로 발견함으로써 인간이 주석을 달지 않은 개념 없이 지능적인 교육 과정 설계를 가능하게 한다.

ABSTRACT

Knowledge tracing---where a machine models the knowledge of a student as they interact with coursework---is a well established problem in computer supported education. Though effectively modeling student knowledge would have high educational impact, the task has many inherent challenges. In this paper we explore the utility of using Recurrent Neural Networks (RNNs) to model student learning. The RNN family of models have important advantages over previous methods in that they do not require the explicit encoding of human domain knowledge, and can capture more complex representations of student knowledge. Using neural networks results in substantial improvements in prediction performance on a range of knowledge tracing datasets. Moreover the learned model can be used for intelligent curriculum design and allows straightforward interpretation and discovery of structure in student tasks. These results suggest a promising new line of research for knowledge tracing and an exemplary application task for RNNs.

연구 동기 및 목표

• 미래의 교육 상호작용에서 학생의 성과를 정확하게 예측할 수 있는 기계 학습 모델을 개발하는 것.
• 수동으로 코딩된 마르코프 모델과 지식의 이진 표현에 의존하는 전통적 지식 트레이싱 모델의 한계를 극복하는 것.
• 전문가 주석이 없는 개념 없이도 잠재 지식 구조와 연습 문제 간 의존성을 자동으로 발견할 수 있도록 하는 것.
• 예측된 학생 지식 성장 기반으로 최적의 연습 순서를 학습함으로써 지능적인 교육 과정 설계를 지원하는 것.
• 딥 러닝 모델이 교육 데이터에서 복잡하고 시간에 따라 변화하는 학습 동역학을 효과적으로 모델링할 수 있음을 입증하는 것.

제안 방법

• 모델은 깊이 있는 순환 신경망(RNN)을 사용하여 학생의 잠재 지식 상태를 시간이 지남에 따라 변화하는 고차원 벡터로 표현한다.
• 입력 시퀀스는 각 상호작용에 대해 연습 태그와 정답 여부를 벡터로 인코딩한 것으로 구성된다.
• RNN은 단계별로 시퀀스를 처리하며, 숨겨진 상태를 업데이트하여 변화하는 지식을 반영하고, 다음 연습에서 정답일 확률을 예측한다.
• 대규모 학생 상호작용 데이터를 기반으로 백프로파게이션 스루 타임을 사용해 엔드 투 엔드로 모델 파라미터를 학습한다.
• 숨겨진 상태 전이 기반으로 학습된 영향 함수를 사용해 연습 간 조건부 영향을 추론한다.
• 실제 세계 데이터셋(Khan Academy 및 Assistments)에서 평가되었으며, 베이지안 지식 트레이싱(BKT) 및 기타 기준 모델과 비교되었다.

실험 결과

연구 질문

• RQ1 딥 RNN 모델이 미래의 연습 문제에서 학생의 성과를 예측하는 데 있어 기존의 베이지안 지식 트레이싱(BKT)을 능가할 수 있는가?
• RQ2 전문가 주석이 없는 개념에 의존하지 않고도 모델이 의미 있는 잠재 지식 구조와 연습 문제 간 관계를 발견할 수 있는가?
• RQ3 모델을 사용해 지능적인 연습 순서를 정함으로써 개선된 교육 과정을 생성할 수 있는 정도는 어느 정도인가?
• RQ4 복잡하고 비선형적인 학습 패턴을 가진 실제 교육 데이터셋에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 모델의 내부 표현이 연습 간 해석 가능하고 교육적으로 의미 있는 의존성을 드러낼 수 있는가?

주요 결과

• DKT는 Assistments 벤치마크에서 이전 최고 성능 결과 대비 AUC에서 상대적으로 25% 향상되어 뛰어난 예측 성능을 입증했다.
• 모델은 전문가 주석 없이도 합성 데이터에서 잠재 개념 클러스터를 성공적으로 학습하여 지식 구조의 자율적 발견 능력을 보였다.
• Khan Academy 데이터셋에서 모델은 8학년 수학 문제 간 일관되고 해석 가능한 관계를 발견했으며, 이는 상하좌우의 의존성과 개념 클러스터링을 포함했다.
• 모델이 학습한 영향 그래프는 같은 개념의 문제들이 많은 상호작용 간격을 두고도 조건부로 의존할 수 있음을 보여주었으며, 이는 강력한 시간적 모델링 능력을 시사했다.
• DKT가 생성한 교육 과정은 시뮬레이션된 MDP 환경에서 기준 전략보다 뛰어난 성능을 보였으며, 더 적은 수의 문제로 더 높은 예측 지식 성장을 달성했다.
• 모델은 RNN이 교육 데이터에서 복잡하고 1차 마르코프 모델을 초월한 비마르코프 학습 동역학을 효과적으로 모델링할 수 있음을 입증했다.