[논문 리뷰] Knowledge Tracing Machines: Factorization Machines for Knowledge Tracing

Jill-Jênn Vie, Hisashi Kashima|arXiv (Cornell University)|2018. 11. 08.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 14인용 수 15

한 줄 요약

이 논문은 지식 추적 모델을 일반화하고 향상시키기 위해 다중 지식 구성요소와 尝시 횟수와 같은 풍부한 보조 정보를 통합한 인자 분해 기반 프레임워크인 지식 추적 기계(KTMs)를 소개한다. KTMs는 희소한 교육 데이터셋에서 최신 기술 수준의 성능을 달성하며, 전통적인 모델과 DKT와 같은 딥러닝 기반 모델을 능가한다. 동시에 효율적인 훈련을 통해 해석 가능한 고차원 학생 모델링을 가능하게 한다.

ABSTRACT

Knowledge tracing is a sequence prediction problem where the goal is to predict the outcomes of students over questions as they are interacting with a learning platform. By tracking the evolution of the knowledge of some student, one can optimize instruction. Existing methods are either based on temporal latent variable models, or factor analysis with temporal features. We here show that factorization machines (FMs), a model for regression or classification, encompasses several existing models in the educational literature as special cases, notably additive factor model, performance factor model, and multidimensional item response theory. We show, using several real datasets of tens of thousands of users and items, that FMs can estimate student knowledge accurately and fast even when student data is sparsely observed, and handle side information such as multiple knowledge components and number of attempts at item or skill level. Our approach allows to fit student models of higher dimension than existing models, and provides a testbed to try new combinations of features in order to improve existing models.

연구 동기 및 목표

• 기존 모델을 일반화하고 희소한 순차적 학생 상호작용 데이터를 처리할 수 있는 통합적이고 유연한 지식 추적 프레임워크를 개발하는 것.
• 항목당 다중 지식 구성요소와 尝시 횟수와 같은 풍부한 보조 정보를 학생 모델링에 통합하여 예측 성능을 향상시키는 것.
• 관찰 수가 제한된 상황에서도 효율적이고 정확한 고차원 학생 및 항목 임베딩 학습을 가능하게 하는 것.
• 지식 추적 모델의 성능 향상을 위해 새로운 특성 조합을 실험할 수 있는 테스트 베드를 제공하는 것.
• 보조 정보가 잠재 차원 수를 늘리는 것보다 더 성능 향상에 기여하는가를 입증하는 것.

제안 방법

• KTMs는 사용자 및 항목 임베딩의 로그-이차형 함수로 학생 성과를 모델링하기 위해 인자 분해 기반 모델(FMs)을 사용하며, 특성 간의 상호작용을 포함한다.
• 모델은 지식 구성요소(질문-매트릭스를 통한), 항목 또는 기술 수준에서의 尝시 횟수, 항목 바이어스와 같은 보조 정보를 통합한다.
• 예측은 로짓 함수를 사용하여 수행되며, logit(p_ij) = w_0 + sum_i w_i x_i + sum_{i<j} w_ij x_i x_j 로 표현되며, 여기서 x_i는 사용자, 항목 및 보조 정보 특성들을 포함한 특성 벡터이다.
• 모델은 희소하고 시간 순서가 지정된 (학생, 항목, 결과) 삼중항에 대해 확률적 경사 하강법을 사용해 엔드 투 엔드로 훈련된다.
• KTMs는 가감 모델, 성과 요인 모델, 다차원 IRT를 특수한 경우로 일반화한다.
• 이 프레임워크는 최대 d=20까지의 고차원 임베딩을 지원하며, 학생 및 항목 지식 상태의 해석 가능한 로그-이차형 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인자 분해 기반의 통합 프레임워크가 기존 지식 추적 모델을 효과적으로 일반화하고 향상시킬 수 있는가?
• RQ2 다중 지식 구성요소와 尝시 횟수와 같은 보조 정보를 통합하면 희소한 교육 데이터에서 예측 정확도가 유의미하게 향상되는가?
• RQ3 실제 데이터셋에서 KTMs의 성능은 DKT와 같은 딥러닝 모델 및 전통적인 요인 분석 모델과 비교해 어떻게 되는가?
• RQ4 잠재 차원 수를 늘리는 것에 비해 보조 정보를 풍부하게 하는 것이 성능 향상에 얼마나 기여하는가?
• RQ5 KTMs는 지식 추적에서 새로운 특성 조합을 실험하기 위한 민첩한 테스트 베드로 활용될 수 있는가?

주요 결과

• KTMs는 BKT 및 FAST와 같은 전통적 모델을 능가하며, 수천 명의 학생과 항목을 포함한 여러 실세계 데이터셋에서 DKT의 성능을 따라하거나 초월한다.
• 기존에 기술 수준의 바이어스만 고려하는 모델에 비해 항목 수준의 바이어스(항목별로 별도의 바이어스)를 도입하면 성능 향상이 뚜렷하다.
• 다중 지식 구성요소와 尝시 횟수와 같은 보조 정보를 통합하면 모델의 잠재 차원 수를 늘리는 것보다 더 높은 성능 향상을 이룬다.
• 희소 데이터에서도 높은 정확도를 달성하여, 새로운 학생과 항목에 대한 일반화 능력이 뛰어나다.
• KTMs는 효율적이고 확장 가능하여 최대 d=20까지의 고차원 학생 모델을 훈련할 수 있으며, 기존 표준 모델로는 구현이 어려운 모델을 가능하게 한다.
• 학습된 임베딩는 해석 가능하며, 학생에게 의미 있는 피드백을 제공하는 데 사용되어 형성 평가를 향상시킬 수 있다.