[논문 리뷰] How deep is knowledge tracing?

Mohammad Khajah, Robert Lindsey외 1명|arXiv (Cornell University)|2016. 03. 14.

Reinforcement Learning in Robotics참고 문헌 27인용 수 89

한 줄 요약

이 논문은 딥 노하우 트레이싱(DKT)이 학생 성과 예측에서 베이지안 노하우 트레이싱(BKT)을 능가하는 이유를 조사한다. 기존 문헌에서 제안된 기억상실, 잠재적 학생 능력, 기술 탐색 메커니즘을 BKT에 통합함으로써, DKT와 구별할 수 없을 정도의 성능을 달성함으로써, DKT의 성능 향상 요인이 깊이 있는 표현 학습이 아니라 통계적 유연성에 기인함을 입증한다.

ABSTRACT

In theoretical cognitive science, there is a tension between highly structured models whose parameters have a direct psychological interpretation and highly complex, general-purpose models whose parameters and representations are difficult to interpret. The former typically provide more insight into cognition but the latter often perform better. This tension has recently surfaced in the realm of educational data mining, where a deep learning approach to predicting students' performance as they work through a series of exercises---termed deep knowledge tracing or DKT---has demonstrated a stunning performance advantage over the mainstay of the field, Bayesian knowledge tracing or BKT. In this article, we attempt to understand the basis for DKT's advantage by considering the sources of statistical regularity in the data that DKT can leverage but which BKT cannot. We hypothesize four forms of regularity that BKT fails to exploit: recency effects, the contextualized trial sequence, inter-skill similarity, and individual variation in ability. We demonstrate that when BKT is extended to allow it more flexibility in modeling statistical regularities---using extensions previously proposed in the literature---BKT achieves a level of performance indistinguishable from that of DKT. We argue that while DKT is a powerful, useful, general-purpose framework for modeling student learning, its gains do not come from the discovery of novel representations---the fundamental advantage of deep learning. To answer the question posed in our title, knowledge tracing may be a domain that does not require `depth'; shallow models like BKT can perform just as well and offer us greater interpretability and explanatory power.

연구 동기 및 목표

• DKT가 BKT보다 학생 학습 모델링에서 성능 우위를 차지하는 원인을 이해하는 것.
• DKT의 성공 원인이 깊이 있는 표현 학습 때문인지, 아니면 데이터 내 통계적 규칙을 더 잘 활용하기 때문인지 조사하는 것.
• 기존에 알려진 해석 가능한 개선 사항을 활용해 BKT를 확장하여 DKT의 성능을 따라잡을 수 있는지 평가하는 것.
• 교육 데이터 마이닝 분야에서 예측 성능와 모델의 해석 가능성 사이의 상호 교환 관계를 평가하는 것.
• 고성능 지식 추적을 위해서는 딥 러닝이 반드시 필요한지, 아니면 유연성이 추가된 구조적 모델만으로도 충분한지 결정하는 것.

제안 방법

• DKT가 활용하지만 고전적 BKT가 간과하는 통계적 규칙 네 가지를 제안: 최근성 효과, 맥락화된 시험 순서, 기술 간 유사성, 개인 능력의 변동성.
• BKT에 세 가지 잘 알려진 개선 사항을 통합: 기억상실(최근성 모델링), 잠재적 학생 능력(개인 차이 모델링), 기술 탐색(기능-연습 매핑 추론).
• MCMC 추론이 필요한 경우, 세 가지 데이터셋(Assistments, Khan Academy (Synthetic), Statics)에서 강화된 BKT 모델을 학습.
• 예측 성능 평가를 위해 AUC를 주요 지표로 사용하여 강화된 BKT 모델과 DKT를 비교.
• DKT 기준선으로 일반적인 순환 신경망(RNN)을 사용하며, 도메인 특화 아키텍처 수정 없이 동일한 데이터로 학습.
• 다양한 데이터셋에서 모델 성능을 평가하여 각 개선 사항이 어떤 맥락에서 가장 효과적인지 분석.

실험 결과

연구 질문

• RQ1 DKT는 고전적 BKT가 포착하지 못하는 학생 학습 데이터의 어떤 통계적 규칙을 활용하는가?
• RQ2 깊이 있는 표현 학습에 의존하지 않고도 BKT를 개선하여 DKT의 예측 성능에 도달할 수 있는가?
• RQ3 BKT에 추가된 세 가지 확장 사항 중에서, forgetting, 잠재 능력, 기술 탐색 중 어떤 것이 각 데이터셋에서 가장 효과적인가?
• RQ4 DKT의 성능 향상 요인이 표현 발견 때문인지, 아니면 데이터 규칙을 더 민감하게 모델링하기 때문인가?
• RQ5 지식 추적 모델에서 성능 향상과 교환되는 해석 가능성의 손실 정도는 어느 정도인가?

주요 결과

• 기억상실, 잠재적 학생 능력, 기술 탐색을 통한 개선을 거친 BKT는 Assistments, Synthetic, Statics 세 데이터셋에서 DKT와 구별할 수 없을 정도의 예측 성능를 달성한다.
• DKT의 성능 향상 요인이 깊이 있는 표현 학습 때문이 아니라, 최근성 효과나 개인 차이 같은 통계적 규칙을 모델링할 수 있는 능력에 기인한다.
• Assistments 데이터셋에서는 기억상실 기능이 가장 중요한 개선 사항이었으며, 이는 최근성 효과를 정확히 포착할 수 있도록 했다.
• Synthetic 데이터셋에서는 기술 탐색이 가장 큰 성능 향상을 가져왔는데, 이는 진짜 기술 매핑이 알려져 있지 않은 상황에서 예상되는 결과였다.
• Statics 데이터셋에서는 잠재적 학생 능력 모델링이 가장 뚜렷한 개선을 이끌었으며, 학생 능력과 문제 난이도를 효과적으로 분리하는 데 기여했다.
• 비록 DKT가 높은 성능을 보였지만, 그 모델 파라미터는 거의 해석이 불가능한 반면, 개선된 BKT 모델은 기억상실률, 학생 능력 등 의미 있는 파라미터를 유지함으로써 심리학적 해석 가능성을 유지한다.