[논문 리뷰] Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory

Chun-Kit Yeung|arXiv (Cornell University)|2019. 04. 26.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 19인용 수 75

한 줄 요약

Deep-IRT는 DKVMN과 아이템 반응 이론을 결합하여 예측력을 유지하면서 시간에 따라 해석 가능한 학생 능력 및 아이템 난이도 추정치를 제공한다.

ABSTRACT

Deep learning based knowledge tracing model has been shown to outperform traditional knowledge tracing model without the need for human-engineered features, yet its parameters and representations have long been criticized for not being explainable. In this paper, we propose Deep-IRT which is a synthesis of the item response theory (IRT) model and a knowledge tracing model that is based on the deep neural network architecture called dynamic key-value memory network (DKVMN) to make deep learning based knowledge tracing explainable. Specifically, we use the DKVMN model to process the student's learning trajectory and estimate the student ability level and the item difficulty level over time. Then, we use the IRT model to estimate the probability that a student will answer an item correctly using the estimated student ability and the item difficulty. Experiments show that the Deep-IRT model retains the performance of the DKVMN model, while it provides a direct psychological interpretation of both students and items.

연구 동기 및 목표

• 해석 가능한 딥러닝 기반 지식 추적 모델의 필요성을 동기화한다.
• DKVMN과 IRT 기반 확률 모델의 합성을 제안하여 설명 가능한 매개변수를 도출한다.
• Deep-IRT가 DKVMN의 성능을 유지하면서 심리학적으로 해석 가능함을 보여준다.
• 전통적 척도와 비교한 학습된 학생 능력과 아이템 난이도를 분석한다.
• 딥러닝과 심리계측 모델의 결합이 더 넓은 적용 가능성을 보임을 보여준다.

제안 방법

• 학습 궤적을 처리하고 잠재 KC 및 지식 상태 표현을 추출하기 위해 DKVMN을 활용한다.
• theta_tj와 beta_j를 생성하기 위해 학생 능력 네트워크와 KC 난이도 네트워크를 추가로 DKVMN에 적합시킨다.
• 정답 여부를 예측하기 위해 p_t = sigma(3.0 * theta_tj - beta_j) 형태의 단일 매개변수 IRT 확률 함수를 적용한다.
• 임베딩 행렬, 메모리 행렬 등 표준 딥러닝 관행과 Adam 최적화를 사용하여 교차 엔트로피 손실로 학습한다.
• 공개 및 비공개 데이터셋에서 Deep-IRT를 DKVMN, DKT, PFA와 비교한다.
• 딥 피처를 시간에 따라 심리측정 매개변수(능력 및 난이도)로 매핑하여 해석 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 Deep-IRT 모델이 아이템 수준에서 해석 가능한 theta(능력) 및 beta(난이도)를 제공하면서 DKVMN의 예측 성능을 유지하는가?
• RQ2 Deep-IRT에서 추정된 아이템 난이도와 학생 능력이 전통적 IRT/아이템 분석 지표 및 다른 KT 기준선과 어떻게 비교되는가?
• RQ3 딥러닝과 IRT의 결합이 다양한 데이터셋에서 주요 KT 지표(AUC, 정확도, 손실)를 손실 없이 설명력을 제공할 수 있는가?
• RQ4 학습 궤적에 걸친 지식 구성 요소에 대한 학습된 난이도 궤적의 함의는 무엇인가?

주요 결과

데이터셋	모델	AUC	정확도	손실
ASSIST2009	PFA	59.68	69.24	7.08
ASSIST2009	DKT	81.56	77.17	5.26
ASSIST2009	DKVMN	81.61	77.01	5.29
ASSIST2009	Deep-IRT	81.65	77.00	5.30
ASSIST2015	PFA	52.85	73.37	6.13
ASSIST2015	DKT	72.85	75.29	5.69
ASSIST2015	DKVMN	72.94	75.18	5.71
ASSIST2015	Deep-IRT	72.88	75.14	5.72
Statics2011	PFA	64.99	79.85	4.64
Statics2011	DKT	82.71	81.37	4.29
Statics2011	DKVMN	83.17	81.57	4.24
Statics2011	Deep-IRT	83.09	81.56	4.24
Synthetic	PFA	61.68	65.20	8.01
Synthetic	DKT	81.65	74.84	5.79
Synthetic	DKVMN	82.97	75.58	5.62
Synthetic	Deep-IRT	82.98	75.61	5.61
FSAI-F1toF3	PFA	54.52	54.57	10.46
FSAI-F1toF3	DKT	69.42	64.11	8.26
FSAI-F1toF3	DKVMN	68.40	63.40	8.42
FSAI-F1toF3	Deep-IRT	68.69	63.43	8.42

• Deep-IRT는 데이터셋 전반에서 DKVMN에 필적하는 예측 성능을 달성하며 종종 정확도와 AUC를 상회한다.
• Deep-IRT는 학생 능력과 KC 난이도의 해석 가능한 추정치를 제공하며 이는 IRT 및 아이템 분석과 일치한다.
• 데이터셋 전반에서 Deep-IRT의 난이도 추정치는 외부 난이도 지표와 상관되며 원시 모델 출력과 예상되는 방식으로 다릅니다.
• 모델은 DKVMN의 강점을 유지하면서 학생과 아이템 모두에 대한 직접적인 심리적 해석을 제공합니다.
• 분석 결과 DKT에서 관찰된 재구성 이슈가 Deep-IRT에서도 지속되며 이전 KT 연구와 일치한다.
• 실험 결과 Deep-IRT가 전체 학습 이력을 이용한 KC 난이도의 대체적 궤적 기반 추정기로 작용할 수 있음을 시사한다.