[논문 리뷰] pyKT: A Python Library to Benchmark Deep Learning based Knowledge Tracing Models

Zitao Liu, Qiongqiong Liu외 4명|arXiv (Cornell University)|2022. 06. 23.

Online Learning and Analytics인용 수 29

한 줄 요약

pyKT는 DLKT를 위한 표준화된 오픈 소스 Python 벤치마크를 제공하며, 표준화된 데이터 전처리, 데이터셋, 그리고 SOTA 모델 구현을 통해 공정한 비교와 실제 세계 평가 프로토콜을 가능하게 한다.

ABSTRACT

Knowledge tracing (KT) is the task of using students' historical learning interaction data to model their knowledge mastery over time so as to make predictions on their future interaction performance. Recently, remarkable progress has been made of using various deep learning techniques to solve the KT problem. However, the success behind deep learning based knowledge tracing (DLKT) approaches is still left somewhat unknown and proper measurement and analysis of these DLKT approaches remain a challenge. First, data preprocessing procedures in existing works are often private and custom, which limits experimental standardization. Furthermore, existing DLKT studies often differ in terms of the evaluation protocol and are far away real-world educational contexts. To address these problems, we introduce a comprehensive python based benchmark platform, extsc{pyKT}, to guarantee valid comparisons across DLKT methods via thorough evaluations. The extsc{pyKT} library consists of a standardized set of integrated data preprocessing procedures on 7 popular datasets across different domains, and 10 frequently compared DLKT model implementations for transparent experiments. Results from our fine-grained and rigorous empirical KT studies yield a set of observations and suggestions for effective DLKT, e.g., wrong evaluation setting may cause label leakage that generally leads to performance inflation; and the improvement of many DLKT approaches is minimal compared to the very first DLKT model proposed by Piech et al. \cite{piech2015deep}. We have open sourced extsc{pyKT} and our experimental results at https://pykt.org/. We welcome contributions from other research groups and practitioners.

연구 동기 및 목표

• 표준화된 실증 평가를 통해 딥러닝 기반 지식 추적에서의 진전을 평가한다.
• 재현 가능한 데이터 전처리, 데이터셋 분할 및 SOTA DLKT 구현을 포함한 엔드-투-엔드 PyTorch 벤치마크를 제공한다.
• 현실 세계 교육 맥락에서 DLKT 성능에 영향을 주는 요인을 식별하기 위해 평가 프로토콜을 분석한다.
• DLKT 연구에서 라벨 누출을 줄이고 재현성을 높이기 위한 가이드라인과 모범 사례를 제공한다.

제안 방법

• 공개된 7개 KT 데이터셋을 모으고 이를 표준화된 형식으로 전처리한다.
• 다양한 아키텍처 계열을 다루는 10개의 대표 DLKT 모델을 구현하고 큐레이션한다(예: 심층 순차, 메모리 보강, 적대적, 그래프 기반, 어텐션 기반).
• 학습/검증/테스트 분할, 단일/다단계 예측 시나리오, 및 AUC를 주요 지표로 하여 평가 프로토콜을 표준화한다.
• KC 수준 상호작용으로 질문을 확장하여 공정한 KC-수준 평가를 가능하게 하고 All-in-One KC 융합 방법을 강조한다.
• KC 융합 전략(조기 융합, 후속 융합 변형, 엄격 융합)을 제공하고 예측에 미치는 영향을 비교한다.
• 라벨 누수를 피하고 현실적인 평가를 보장하기 위해 All-in-One KC 예측 접근법을 문서화하고 시행한다.

실험 결과

연구 질문

• RQ1 실제 교육 맥락에서 DLKT 알고리즘에 대한 신뢰할 수 있고 현실적인 평가 프로세스는 무엇인가?
• RQ2 데이터 특성, 모델 설계 및 예측 시나리오가 DLKT 성능에 어떤 영향을 미치는가?
• RQ3 표준화된 전처리 및 평가가 불공정한 비교를 줄이고 DLKT 연구의 재현성을 향상시킬 수 있는가?

주요 결과

• 질문 정보와 KC 정보가 모두 포함된 데이터셋에서 AKT는 일반적으로 대부분의 베이스라인보다 우수한 성능을 보이며, 특히 단조 어텐션과 Rasch 모형 유사 임베딩을 사용할 때 그렇다.
• 많은 최근 DLKT 모델들이 데이터셋 전반에 걸쳐 일반적인 DKT 기본 모델을 일관되게 능가하지 못해 일부 경우에 미미한 향상만을 보여준다는 것을 시사한다.
• 확장된 KC 시퀀스에 대한 일대일 평가가 라벨 누출을 유발하여 보고된 성능을 부풀리고 실제 능력을 왜곡한다.
• 여러 데이터셋에서 긴 상호작용과 짧은 상호작용 학생 간에 뚜렷한 성능 차이가 있으며, 이는 맥락 길이가 KC 동시 발생 패턴과 상호 작용함을 시사한다.
• KC 융합 방법(late AVG, MV 등)은 성능 차이가 작게 나타내며, LF-AVG가 종종 최상이며 EF는 일부 모델에 덜 적용 가능하다.
• 평가 프로토콜과 데이터 전처리는 결과에 상당한 영향을 미치므로 표준화된 현실 세계 평가 절차의 필요성을 강조한다.