[논문 리뷰] qDKT: Question-centric Deep Knowledge Tracing

Shashank Sonkar, Andrew E. Waters외 3명|arXiv (Cornell University)|2020. 05. 25.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 23인용 수 6

한 줄 요약

qDKT는 기존 DKT 모델을 개선하기 위해 기능 수준 성능이 아닌 개별 질문 성능을 모델링하는 질문 중심 지식 추적 모델을 제안한다. 이 모델은 질문 유사도를 기반으로 예측을 부드럽게 만드는 그래프 라플라시안 정규화를 사용하며, fastText 기반 초기화를 통해 임베딩 품질을 향상시킨다. 다양한 실세계 데이터셋, 특히 ASSISTments 2017 및 Statics 2011에서 최신 기술 수준(AUC) 성능을 달성한다.

ABSTRACT

Knowledge tracing (KT) models, e.g., the deep knowledge tracing (DKT) model, track an individual learner's acquisition of skills over time by examining the learner's performance on questions related to those skills. A practical limitation in most existing KT models is that all questions nested under a particular skill are treated as equivalent observations of a learner's ability, which is an inaccurate assumption in real-world educational scenarios. To overcome this limitation we introduce qDKT, a variant of DKT that models every learner's success probability on individual questions over time. First, qDKT incorporates graph Laplacian regularization to smooth predictions under each skill, which is particularly useful when the number of questions in the dataset is big. Second, qDKT uses an initialization scheme inspired by the fastText algorithm, which has found success in a variety of language modeling tasks. Our experiments on several real-world datasets show that qDKT achieves state-of-art performance on predicting learner outcomes. Because of this, qDKT can serve as a simple, yet tough-to-beat, baseline for new question-centric KT models.

연구 동기 및 목표

• 기존 지식 추적 모델이 기능 내 모든 질문을 동일시하는 데서 비롯되는 한계를 해결하라. 이는 실세계 교육 데이터에서는 현실적이지 않다.
• 특히 ASSISTments 2009과 같은 희박한 데이터셋에서 질문 수준 모델링 시 과적합 문제를 해결하라.
• 질문 유사도와 향상된 임베딩 초기화를 활용해 예측 정확도를 향상시키는 강력한 질문 중심 지식 추적 프레임워크를 개발하라.
• 전통적인 기능 수준 DKT보다 뛰어난 성능을 보이며, 미래의 질문 중심 지식 추적 모델에 대해 강력하고 단순한 기준 모델을 제공하라.
• 다중 기능에 매핑되는 질문을 수동으로 기능을 융합하지 않고도 모델링이 가능한 유연한 질문 중심 모델링을 가능하게 하라.

제안 방법

• 질문 식별자로 기능 식별자를 대체하여 개별 질문 수준에서 학습자 성능을 모델링하는 DKT의 변종인 qDKT를 도입한다.
• 질문 간 유사도 그래프를 기능 겹침 또는 텍스트 특성에서 유도한 데 기반해 그래프 라플라시안 정규화를 적용하여 유사한 질문 간 예측을 부드럽게 한다.
• 서브워드 및 토큰 수준 표현을 조합하여 의미적 및 구조적 패턴을 포착하는 fastText 기반 초기화 방법을 사용해 질문-응답 임베딩을 초기화한다.
• LSTM 기반 시퀀스 모델을 사용해 학습하며, 과적합을 줄이기 위해 Adam 옵timizer와 드롭아웃을 적용한다. 예측은 질문-응답 튜플 수준에서 수행된다.
• 질문 유사도 그래프를 기능 매핑 또는 질문 텍스트 임베딩을 사용해 구성함으로써, 의미적 또는 구조적으로 유사한 질문 간 일반화를 가능하게 한다.
• 5겹 교차검증을 수행하며, 훈련 세트 70%와 테스트 세트 30%로 분할하여, 테스트 세트에서 AUC 점수를 평가한다.

실험 결과

연구 질문

• RQ1 기능 수준이 아닌 질문 수준에서 학습자 성능을 모델링할 경우 지식 추적의 예측 정확도가 향상되는가?
• RQ2 질문 유사도에 기반한 그래프 라플라시안 정규화는 질문 수준 지식 추적 모델의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ3 fastText 기반 임베딩 초기화 방법은 순차 기반 지식 추적 모델의 수렴 및 성능에 어느 정도 향상 효과를 미치는가?
• RQ4 정규화와 향상된 초기화의 조합이 다양한 희박성 수준을 가진 교육 데이터셋에서 일관된 성능 향상을 이끌어내는가?
• RQ5 qDKT는 미래의 질문 중심 지식 추적 모델에 대해 강력하고 일반화 가능한 기준 모델이 될 수 있는가?

주요 결과

• qDKT는 ASSISTments 2017, Statics 2011, Tutor 데이터셋 중 세 개에서 표준 DKT를 능가하며 더 높은 AUC 점수를 기록한다.
• 질문 평균 관측 수가 매우 낮은(질문당 평균 19.27회) ASSISTments 2009 데이터셋에서는 기본 qDKT 모델이 과적합으로 인해 DKT보다 성능이 열 劣하므로, 정규화의 필요성을 확인한다.
• 그래프 라플라시안 정규화를 추가하면 특히 데이터가 적은 환경에서 성능 향상이 뚜렷하게 나타나, 유사한 질문 간 예측을 부드럽게 하여 일반화를 향상시킨다.
• fastText 기반 초기화 방법은 주성분 분석(PCA) 투영에서 올바른 응답 임베딩과 잘못된 응답 임베딩 간 분리가 더 잘 이루어지는 것을 보여주며, 개선된 임베딩 기하학을 의미한다.
• 정규화와 fastText 초기화를 결합하면 모든 데이터셋에서 최고 성능을 기록하며, ASSISTments 2017에서는 0.74 AUC, Statics 2011에서는 0.72 AUC를 달성한다.
• 시각화 결과는 fastText 초기화가 임베딩 공간에서 대칭적인 구조를 유지함을 확인했으며, 이는 학습 전반에 걸쳐 유지되며 모델 일반화에 기여한다.