[논문 리뷰] Memory-Augmented Neural Networks for Knowledge Tracing from the Perspective of Learning and Forgetting

Heonseok Ha, Uiwon Hwang외 2명|arXiv (Cornell University)|2018. 05. 28.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 15인용 수 6

한 줄 요약

이 논문은 현재 지식 상태를 기반으로 적응형 지식 성장을 통합하고, 과거 기억 상실을 더 잘 제어하기 위해 정규화 손실을 도입함으로써 DKVMN을 향상시킨 지식 추적 모델을 제안한다. 네 가지 벤치마크에서 평가된 결과, 모델은 AUC(예측 성능)와 forgetting을 측정하는 데 새로운 지표인 Positive Update Ratio(PUR)에서 DKVMN를 모두 초월한다.

ABSTRACT

Knowledge tracing (KT) refers to a machine learning technique to assess a student's level of understanding (or knowledge state) based on the student's past performance in exercise-solving. KT accepts a series of question-answer pairs as an input and iteratively updates the knowledge state of the student, eventually returning the probability of the student solving a given question. To estimate the accurate knowledge state, a KT model should imitate the learning and forgetting mechanisms of the student. Deep learning-based KT models, proposed recently, show a higher predictive performance than traditional machine learning-based KT models due to the representative power of neural networks. The dynamic key value memory network (DKVMN), a kind of memory augmented neural network (MANN), is a state-of-the-art KT model, but it has some limitations. DKVMN does not utilize information from a current knowledge state and overestimates the amount of forgetting when updating the knowledge state. To improve the learning and forgetting mechanism of the DKVMN, we propose a knowledge tracing model that incorporates: (1) an adaptive knowledge growth depending on the current knowledge state, and (2) an additional loss term that can regularize the degree of forgetting. To measure the degree of forgetting of the KT model, we define a positive update ratio (PUR) that can complement the predictive performance metric (AUC). According to our experiments using four public benchmarks, the proposed approaches outperform the original DKVMN in terms of both AUC (predictive performance) and PUR (degree of forgetting).

연구 동기 및 목표

• 지식 추적에서 현실적인 학습 및 기억 상실 동역학을 모델링하는 데 있어 DKVMN의 한계를 해결하기 위해.
• 현재 지식 상태를 지식 성장 결정보에 통합하여 지식 상태 추정의 정확도를 향상시키기 위해.
• 정규화 손실 항목을 도입하여 DKVMN에서의 기억 상실 과대평가 문제를 줄이기 위해.
• 기존 AUC 지표를 보완하기 위해 기억 상실 행동을 평가하기 위한 새로운 지표인 Positive Update Ratio(PUR)를 제안하기 위해.

제안 방법

• 현재 지식 상태에 따라 동적으로 학습을 조정하는 적응형 지식 성장 기법을 도입하여 학생의 학습 진행 상황에 더 민감하게 반응하도록 개선한다.
• 지식 상태 갱신 중 기억 상실 정도를 제약하기 위해 새로운 정규화 손실 항목을 설계한다.
• 적응형 성장 메커니즘과 정규화 손실을 통합하기 위해 DKVMN 아키텍처를 수정한다.
• 모델 갱신에서 기억 상실 정도를 정량화하기 위해 Positive Update Ratio(PUR)를 보조 평가 지표로 활용한다.
• 학습과 유지 보존의 균형을 맞추기 위해 표준 예측 손실과 새로운 기억 상실 정규화 손실을 모두 사용하여 모델을 재학습한다.
• 다양한 학생 상호작용 패턴을 갖는 네 가지 공개 지식 추적 벤치마크를 사용하여 모델 성능을 검증한다.

실험 결과

연구 질문

• RQ1 지식 추적 모델에서 지식 성장을 현재 지식 상태에 적응적으로 조정함으로써 학습의 정밀도를 향상시킬 수 있는가?
• RQ2 정규화 손실이 메모리 증강 지식 추적 모델에서 기억 상실 과대평가를 어느 정도 줄일 수 있는가?
• RQ3 Positive Update Ratio(PUR)는 AUC와 함께 지식 추적에서 기억 상실 행동을 평가하는 데 신뢰성 있고 보완적인 지표로 기능할 수 있는가?
• RQ4 제안된 모델은 표준 벤치마크에서 DKVMN보다 더 높은 예측 성능과 더 현실적인 기억 상실 동역학을 달성하는가?

주요 결과

• 제안된 모델은 네 가지 공개 벤치마크 전반에서 DKVMN보다 높은 AUC 점수를 확보하여 지식 상태 추정의 예측 성능 향상을 나타낸다.
• 모델은 DKVMN보다 유의미하게 높은 Positive Update Ratio(PUR)를 보이며, 기억 상실 행동의 더 정확하고 현실적인 모델링을 나타낸다.
• 적응형 지식 성장 통합으로 더 민감하고 맥락 인식이 가능한 지식 상태 갱신이 가능해졌다.
• 정규화 손실은 기억 상실 과대평가를 효과적으로 줄여 더 안정적이고 타당한 지식 상태 전이를 이끌어냈다.
• 향상된 AUC와 PUR의 조합은 모델이 학생 지식 진화의 학습과 기억 상실의 이중 메커니즘을 더 잘 포착하고 있음을 확인한다.
• 실험 결과는 다양한 데이터셋에서 일관된 성능 향상이 관찰되어 제안된 방법의 강건성을 검증한다.