[논문 리뷰] Do we need to go Deep? Knowledge Tracing with Big Data

Varun Mandalapu, Jiaqi Gong외 1명|arXiv (Cornell University)|2021. 01. 20.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 21인용 수 5

한 줄 요약

이 연구는 9300만 건의 학생 상호작용을 포함한 가장 큰 공개 교육 데이터셋인 EdNet에서 지식 추적 모델을 평가한다. 분석 결과, 항목 반응 이론과 성과 이력에서 유도된 특징을 가진 정교하게 설계된 로지스틱 회귀 모델이, 대규모 데이터셋에서도 딥러닝 모델인 DKT와 SAKT를 능가함을 확인하였다. 이는 현재 교육 데이터 환경에서 특징 공학의 가치가 모델 깊이를 뛰어넘어 여전히 높다는 점을 시사한다.

ABSTRACT

Interactive Educational Systems (IES) enabled researchers to trace student knowledge in different skills and provide recommendations for a better learning path. To estimate the student knowledge and further predict their future performance, the interest in utilizing the student interaction data captured by IES to develop learner performance models is increasing rapidly. Moreover, with the advances in computing systems, the amount of data captured by these IES systems is also increasing that enables deep learning models to compete with traditional logistic models and Markov processes. However, it is still not empirically evident if these deep models outperform traditional models on the current scale of datasets with millions of student interactions. In this work, we adopt EdNet, the largest student interaction dataset publicly available in the education domain, to understand how accurately both deep and traditional models predict future student performances. Our work observes that logistic regression models with carefully engineered features outperformed deep models from extensive experimentation. We follow this analysis with interpretation studies based on Locally Interpretable Model-agnostic Explanation (LIME) to understand the impact of various features on best performing model pre-dictions.

연구 동기 및 목표

• 대규모 교육 상호작용 데이터에서 딥러닝 모델이 기존 모델을 능가하는지 평가하는 것.
• 전문가가 설계한 특징을 사용한 로지스틱 회귀 모델과 복잡한 딥러닝 아키텍처 간의 상대적 성능을 조사하는 것.
• LIME를 활용해 개별 특징의 기여도를 해석하여 실질적인 통찰을 도출하는 것.
• DKT와 SAKT와 같은 딥 모델이 수백만 건의 상호작용을 포함한 데이터셋에서 확장성과 일반화 능력을 얼마나 갖추고 있는지 평가하는 것.

제안 방법

• 연구는 EdNet KT1을 사용한다. 이는 607,000명의 학생으로부터 9300만 건의 상호작용을 포함한 가장 큰 공개 교육 상호작용 데이터셋이다.
• 항목 반응 이론(IRT) 파rameters, 기능 정확도 비율, 尝시도/성공 횟수 등 수작업 특징을 사용한 로지스틱 회귀 모델과 DKT 및 SAKT를 포함한 딥러닝 모델을 비교한다.
• 모델 성능은 검증용 테스트 세트에서 AUC로 평가되며, 계산 자원 제약으로 인해 로지스틱 회귀 모델은 50,000명의 학생 데이터 서브셋으로 훈련된다.
• 로컬 특징 기여도 분석을 위해 LIME가 적용되며, 개별 기능과 상호작용 패턴이 예측 결과에 미치는 영향을 분석한다.
• 로컬 LIME 설명과 기능 난이도(정확도 비율) 간 상관관계를 분석하여 모델의 행동 패턴을 특징 기여도 측면에서 평가한다.

실험 결과

연구 질문

• RQ1 DKT와 SAKT와 같은 딥러닝 모델이 대규모 교육 데이터셋에서 지식 추적에서 기존의 로지스틱 회귀 모델을 능가하는가?
• RQ2 교육 이론에서 유도된 수작업 특징(예: IRT, PFA)이 원시 상호작용 시퀀스보다 학생 성과 예측에 더 나은가?
• RQ3 기능 난이도(정확도 비율로 측정)는 모델 예측에 어떤 영향을 미치며, 이는 특징 기여도에 어떻게 반영되는가?
• RQ4 LIME 기반 로컬 설명은 특징의 기여도에 대한 의미 있는 패턴을 드러내는가?

주요 결과

• IRT 기반 특징을 사용한 로지스틱 회귀 모델은 EdNet의 50,000명 학생 서브셋에서 AUC 0.73를 기록하여 모든 딥러닝 모델을 능가했다.
• DKT 모델은 전체 607,000명 학생 데이터셋으로 훈련했을 때 성능 저하를 보였으며, 이는 대규모 데이터에서의 확장성 부족이나 과적합의 가능성을 시사한다.
• 승리(정답) 횟수와 尝시도 이력 기반 특징은 예측 능력이 낮았으며, 이는 항목 관련 특징을 제외한 PFA의 AUC가 0.66에 그친 것으로 확인되었다.
• LIME 분석 결과, 가장 난이도가 높은 기능(정확도 비율이 가장 낮은 기능)은 음수의 로컬 기여도를 보였으며, 이는 정확한 예측와 모순됨을 시사한다—주로 성과의 일관성 부족으로 인한 것으로 보인다.
• 최고 성능을 낸 모델의 예측은 원시 상호작용 시퀀스보다 IRT 파rameters와 기능 정확도 비율에 의해 가장 강하게 영향을 받았다.