[논문 리뷰] DAS3H: Modeling Student Learning and Forgetting for Optimally Scheduling Distributed Practice of Skills

Benoît Choffin, Fabrice Popineau외 2명|arXiv (Cornell University)|2019. 05. 14.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 49인용 수 26

한 줄 요약

이 논문은 다중 기술에 걸쳐 학습과 망각의 역학을 동시에 추적하여 적응형 간격 반복 스케줄링을 최적화하는 새로운 학생 모델링 프레임워크인 DAS3H를 제안한다. 시간 창 특징을 사용한 덧셈 요인 모델을 통해 기술별 기억 감쇠와 시간적 연습 분포를 통합함으로써, DAS3H는 세 개의 실세계 교육 데이터셋에서 최신 기술 모델들보다 예측 정확도를 크게 향상시킨다.

ABSTRACT

Spaced repetition is among the most studied learning strategies in the cognitive science literature. It consists in temporally distributing exposure to an information so as to improve long-term memorization. Providing students with an adaptive and personalized distributed practice schedule would benefit more than just a generic scheduler. However, the applicability of such adaptive schedulers seems to be limited to pure memorization, e.g. flashcards or foreign language learning. In this article, we first frame the research problem of optimizing an adaptive and personalized spaced repetition scheduler when memorization concerns the application of underlying multiple skills. To this end, we choose to rely on a student model for inferring knowledge state and memory dynamics on any skill or combination of skills. We argue that no knowledge tracing model takes both memory decay and multiple skill tagging into account for predicting student performance. As a consequence, we propose a new student learning and forgetting model suited to our research problem: DAS3H builds on the additive factor models and includes a representation of the temporal distribution of past practice on the skills involved by an item. In particular, DAS3H allows the learning and forgetting curves to differ from one skill to another. Finally, we provide empirical evidence on three real-world educational datasets that DAS3H outperforms other state-of-the-art EDM models. These results suggest that incorporating both item-skill relationships and forgetting effect improves over student models that consider one or the other.

연구 동기 및 목표

• 현재 단일 항목 암기 중심인 적응형 간격 반복 시스템이 기술 적용을 고려하지 못하는 격차를 보완하기 위해.
• 다양한 지식 구성 요소에 걸쳐 기억 감쇠와 분산 연습의 이점 모두를 포착하는 학생 모델을 개발하기 위해.
• 기본 기술의 학습 및 망각 곡선을 모델링하여 개인 맞춤형 기술 연습 스케줄링을 최적화하기 위해.
• 기존 지식 추적 모델을 발전시켜 과거 연습의 시간 분포와 기술 수준의 기억 역학을 통합하기 위해.
• 항목-기술 관계와 망각 효과를 모두 모델링함으로써 교육 데이터 마이닝에서 성능 향상이 실제로 이루어지는지 실증적으로 검증하기 위해.

제안 방법

• DAS3H는 각 기술의 학습 및 망각 곡선을 별도로 모델링함으로써 기술별 시간 역학을 가능하게 하여 DASH 모델을 확장한다.
• 시간 창 특징(예: 1/24, 1, 7, 30, +∞ 일)을 사용한 덧셈 요인 모델을 활용하여 각 기술에 대한 과거 연습의 시간 분포를 표현한다.
• 각 기술과 시간 창에 대해 편향 항목을 추정하여 최근 및 분산된 연습이 회상 확률에 미치는 영향을 포착한다.
• 지식 추적 머신스(Knowledge Tracing Machines, KTM) 프레임워크의 특징 임베딩과 쌍방향 상호작용을 활용하여 표현 학습을 향상시킨다.
• 기본 기술의 기억 상태와 시간 특징의 가중합에 대한 로지스틱 함수를 사용하여 학생의 성과를 예측한다.
• 다중 기술 항목을 지원하기 위해 개별 기술 상태를 집계함으로써 다수의 지식 구성 요소를 포함하는 복잡한 문제의 성과 예측이 가능해진다.

실험 결과

연구 질문

• RQ1 기본 기술의 학습 및 망각 역학을 동시에 고려하는 학생 모델이 학생의 응답 예측 성능을 향상시킬 수 있는가?
• RQ2 다양한 기술에 걸쳐 과거 연습의 시간 분포를 통합하면, 기억 감쇠를 忽시하는 모델에 비해 예측 정확도가 향상되는가?
• RQ3 실세계 교육 데이터셋에서 DAS3H는 최신 기술 모델들에 비해 AUC 성능에서 어떻게 비교되는가?
• RQ4 각 항목에 대해 별도의 기억 곡선을 모델링함으로써 다중 기술을 다루는 것이 장기적 유지 예측에 얼마나 기여하는가?
• RQ5 명시적으로 기술 수준의 기억 상태를 추적하는 모델이 분산 연습을 위한 더 나은 적응형 스케줄링을 가능하게 하는가?

주요 결과

• DAS3H는 세 개의 실세계 데이터셋에서 여러 최신 기술 기반 교육 데이터 마이닝 모델들을 능가하며, 뛰어난 예측 성능을 입증한다.
• 시간 창 특징과 기술별 망각 곡선을 포함시킴으로써 AUC 성능이 크게 향상되어 시간적 기억 모델링의 중요성을 확인한다.
• 실증 결과에 따르면 항목-기술 관계와 기억 감쇠를 모두 모델링하는 것이 단지 하나의 측면만 고려하는 모델보다 더 나은 예측 성능을 낳는다.
• 모델은 다양한 기술이 연습 역사에 따라 다른 속도로 감쇠하고 강화됨을 포착함으로써 성능 향상을 이룬다.
• DAS3H의 설계는 각 기술에 대한 지식 상태와 기억 강도를 더 정확하게 추정할 수 있게 하여 향후 적응형 스케줄링 알고리즘의 기반을 마련한다.
• 모델의 덧셈 구조는 상쇄 학습 효과를 가능하게 하지만, 향후 과도한 정복도 추정을 방지하기 위해 비상쇄 대안을 탐색할 수도 있다.