[논문 리뷰] Empirical Evaluation of Deep Learning Models for Knowledge Tracing: Of Hyperparameters and Metrics on Performance and Replicability

Sami Sarsa, Juho Leinonen외 1명|arXiv (Cornell University)|2021. 12. 30.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 연구는 딥러닝 지식 추적(DLKT) 모델에 대한 철저한 실증 평가를 수행하며, DKT, LSTM-DKT, DKVMN, SAKT와 같은 아키텍처를 BKT 및 로지스틱 회귀와 같은 베이스라인과 비교한다. 연구 결과, 모델 성능은 아키텍처보다도 하이퍼파라미터, 입력/출력 설계, 평가 지표 선택에 의해 더 크게 영향을 받는다. 또한, 전처리 방식, 랜덤 시드, 프레임워크 버전의 일관성 부족으로 인해 재현 가능성 문제 발생을 지적한다.

ABSTRACT

New knowledge tracing models are continuously being proposed, even at a pace where state-of-theart<br> models cannot be compared with each other at the time of publication. This leads to a situation<br> where ranking models is hard, and the underlying reasons of the models’ performance – be it architectural<br> choices, hyperparameter tuning, performance metrics, or data – is often underexplored. In this<br> work, we review and evaluate a body of deep learning knowledge tracing (DLKT) models with openly<br> available and widely-used data sets, and with a novel data set of students learning to program. The<br> evaluated knowledge tracing models include Vanilla-DKT, two Long Short-Term Memory Deep Knowledge<br> Tracing (LSTM-DKT) variants, two Dynamic Key-Value Memory Network (DKVMN) variants,<br> and Self-Attentive Knowledge Tracing (SAKT). As baselines, we evaluate simple non-learning models,<br> logistic regression and Bayesian Knowledge Tracing (BKT). To evaluate how different aspects of DLKT<br> models influence model performance, we test input and output layer variations found in the compared<br> models that are independent of the main architectures. We study maximum attempt count options, including<br> filtering out long attempt sequences, that have been implicitly and explicitly used in prior studies.<br> We contrast the observed performance variations against variations from non-model properties such as<br> randomness and hardware. Performance of models is assessed using multiple metrics, whereby we also<br> contrast the impact of the choice of metric on model performance. The key contributions of this work are<br> the following: Evidence that DLKT models generally outperform more traditional models, but not necessarily<br> by much and not always; Evidence that even simple baselines with little to no predictive value<br> may outperform DLKT models, especially in terms of accuracy – highlighting importance of selecting<br> proper baselines for comparison; Disambiguation of properties that lead to better performance in DLKT<br> models including metric choice, input and output layer variations, common hyperparameters, random<br> seeding and hardware; Discussion of issues in replicability when evaluating DLKT models, including<br> discrepancies in prior reported results and methodology. Model implementations, evaluation code, and<br> data are published as a part of this work.

연구 동기 및 목표

• 다양한 데이터셋과 평가 지표를 기반으로 최신 딥러닝 지식 추적(DLKT) 모델의 성능을 평가하기 위해.
• 하이퍼파라미터, 모델 아키텍처 변형, 비모델 요소(예: 랜덤 시드, 하드웨어)가 DLKT 성능에 미치는 영향을 조사하기 위해.
• 기존 DLKT 연구의 재현 가능성을 평가하기 위해 모델을 재구현하고 원본 보고서와 결과를 비교하기 위해.
• 비딥러닝 베이스라인(예: BKT, 로지스틱 회귀)이 DLKT 모델과 비교해 얼마나 효과적인지 평가하기 위해.
• 이전 연구들 간의 데이터 전처리, 모델 구현, 보고된 결과에 대한 일관성 없는 점을 식별하고 문서화하기 위해.

제안 방법

• 원본 논문의 코드와 기술을 바탕으로 일곱 개의 DLKT 모델(Vanilla-DKT, LSTM-DKT 변종, DKVMN 변종, SAKT)과 두 개의 비-DLKT 베이스라인(BKT, GLR)을 재구현하였다.
• 공개된 여섯 개의 데이터셋과 프로그래밍을 배우는 학생들에 대한 새로운 데이터셋 포함 총 일곱 개의 데이터셋에서 모델을 평가하였다.
• 입력/출력 레이어 설계의 다양성을 체계적으로 변화시켜(예: 원-핫 vs. 임베딩 입력, 스킬별 vs. 스칼라 출력 레이어) 아키텍처 영향을 평가하였다.
• 하이퍼파라미터 민감도를 테스트하였으며, 최대 尝시도 횟수 필터링(필터 없음, 잘라내기, 분할)을 포함하고, 랜덤 시드와 하드웨어가 성능에 미치는 영향을 분석하였다.
• 일곱 가지 평가 지표(AUC, 정확도, F1, MCC 등)를 사용하여 모델 성능을 평가하고, 지표에 따른 순위 이동 현상을 분석하였다.
• 재현 가능성 확보와 공정한 비교를 위해 일관된 전처리, 하이퍼파라미터 탐색, 랜덤 시드 제어를 통해 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 평가 지표에서 DLKT 모델은 단순한 베이스라인과 비딥러닝 KT 모델보다 성능이 어떻게 다를까?
• RQ2 RQ2: 원래 평가된 것과 동일한 데이터셋과 다른 데이터셋에서 DLKT 모델의 성능는 어떻게 나타나며, 이전 보고서 간 결과 일관성은 어떠한가?
• RQ3 RQ3: 모델 아키텍처, 하이퍼파라미터, 비모델 요소(예: 랜덤 시드, 하드웨어, 프레임워크 버전)의 변형이 DLKT 모델 성능에 어떤 영향을 미치는가?
• RQ4 RQ4: 다양한 평가 지표가 모델 순위 및 하이퍼파라미터 튜닝 결과에 어떤 영향을 미치는가?
• RQ5 RQ5: 이전 DLKT 연구에서 관찰된 실증적 성과는 새로운 모델 아키텍처보다 하이퍼파라미터 튜닝 덕분일 가능성은 어느 정도인가?

주요 결과

• DLKT 모델들은 일반적으로 BKT와 같은 전통적 모델보다 성능이 뛰어나지만, 성능 격차는 종종 작으며, 일부 경우에서는 단순한 베이스라인인 로지스틱 회귀(GLR)나 심지어 평균 모델(Mean model)이 정확도와 F1 점수에서 DLKT 모델을 뛰어넘는 경우가 있다.
• 평가 지표 선택이 모델 순위에 크게 영향을 미친다: AUC에서 상위로 평가된 모델이 정확도나 F1에서 최고 성능을 내지 않을 수 있으며, 이는 지표 선택이 성능 해석에 결정적인 영향을 미친다는 것을 시사한다.
• 하이퍼파라미터 튜닝, 특히 최대 尝시도 횟수 필터링(예: 장기 시퀀스 분할 또는 잘라내기)이 뚜렷한 영향을 미쳤으며, AUC 기준 최대 4.6%p의 성능 향상을 보였다. 이는 평가 과정에서의 중요성을 강조한다.
• 입력 임베딩 vs. 원-핫 인코딩, 출력 레이어 설계(스킬별 vs. 스칼라 출력)와 같은 아키텍처 변형이 AUC 기준 최대 4.6%p의 성능 영향을 미쳐, 아키텍처 선택만큼이나 설계 선택이 중요하다는 것을 시사한다.
• 비모델 요소인 하드웨어와 머신러닝 프레임워크 버전은 전반적으로 영향이 미미했지만, 일부 사례에서는 지표에서 0.5%p 이상의 차이를 보이며 재현 가능성 리스크를 암시한다.
• 재현 가능성 문제들이 널리 퍼져 있었다: 보고된 데이터셋 크기의 불일치와 모델 기술서와 실제 구현 간의 불일치(예: DKVMN 아키텍처 차이)가 관찰되어, 이전 연구 결과가 더 이상 새로운 아키텍처의 성과보다는 튜닝에 기인할 가능성이 높다는 점을 시사한다.