[논문 리뷰] Deep Graph Memory Networks for Forgetting-Robust Knowledge Tracing

Ghodai Abdelrahman, Qing Wang|arXiv (Cornell University)|2021. 08. 18.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 39인용 수 6

한 줄 요약

이 논문은 깊이 있는 그래프 메모리 네트워크(DGMN)를 제안하며, 다수의 은닉 개념 간의 동적 기억 행동을 모델링하기 위해 忘却 게이팅 메커니즘과 주의 기반 메모리 구조를 통합한 새로운 지식 추적 모델이다. 변화하는 개념 간의 관계를 포착하는 동적 은닉 개념 그래프를 구성함으로써, DGMN은 네 가지 벤치마크 데이터셋에서 최신 기술(SOTA)을 초월하여, 忘却 행동과 개념 상호의존성을 모델링하는 데 뛰어난 성능을 보여준다.

ABSTRACT

Tracing a student's knowledge is vital for tailoring the learning experience. Recent knowledge tracing methods tend to respond to these challenges by modelling knowledge state dynamics across learning concepts. However, they still suffer from several inherent challenges including: modelling forgetting behaviours and identifying relationships among latent concepts. To address these challenges, in this paper, we propose a novel knowledge tracing model, namely \emph{Deep Graph Memory Network} (DGMN). In this model, we incorporate a forget gating mechanism into an attention memory structure in order to capture forgetting behaviours dynamically during the knowledge tracing process. Particularly, this forget gating mechanism is built upon attention forgetting features over latent concepts considering their mutual dependencies. Further, this model has the capability of learning relationships between latent concepts from a dynamic latent concept graph in light of a student's evolving knowledge states. A comprehensive experimental evaluation has been conducted using four well-established benchmark datasets. The results show that DGMN consistently outperforms the state-of-the-art KT models over all the datasets. The effectiveness of modelling forgetting behaviours and learning latent concept graphs has also been analyzed in our experiments.

연구 동기 및 목표

• 다수의 은닉 개념에 걸쳐 忘却 행동을 모델링하는 데에 기존 지식 추적 모델의 한계를 해결하기 위해.
• 사전에 정의된 그래프에 의존하지 않고 학생 상호작용 시퀀스로부터 은닉 개념 간의 동적 관계를 학습하기 위해.
• 개념 간 상호의존성을 고려한 忘却 게이팅 메커니즘을 사용하여 忘却 역학을 지식 상태 표현에 통합하기 위해.
• 메모리 네트워크, 그래프 구조, 忘却 인식 주의 기반 방법을 조합하여 지식 추적의 예측 정확도를 향상시키기 위해.
• 학습 초기 상태에서 효과적인 학습을 가능하게 하기 위해 학생 지식 상태에 대한 사전 가정을 피하기 위해.

제안 방법

• DGMN는 질문-답변 시퀀스를 사용하여 시간에 따라 지식 상태를 유지하고 업데이트하기 위해 주의 기반 메모리 네트워크를 활용한다.
• 시간 간격과 시행 기반의 忘却 특징을 다수의 은닉 개념에 걸쳐 주의 기반으로 분석함으로써 忘却 행동을 모델링하기 위해 忘却 게이팅 메커니즘을 도입한다.
• 메모리 네트워크의 정보를 활용하여 동적으로 은닉 개념 그래프를 구성함으로써 개념 간 변화하는 관계를 포착한다.
• 학생의 지식 상태 전이에 따라 그래프를 반복적으로 업데이트함으로써 모델이 맥락 기반의 개념 의존성을 학습할 수 있도록 한다.
• 그래프 내 이웃 개념의 중요도를 가중치로 설정하기 위해 주의 메커니즘을 사용함으로써 표현 학습을 향상시킨다.
• 최종 예측 헤드는 메모리 상태와 그래프 임bedded 표현을 결합하여 정답일 확률을 예측한다.

Figure 1: An example for illustrating the difference between modelling forgetting over one latent concept and over multiple latent concepts, where Time Lapse and Trials are two forgetting features used for modelling forgetting.

실험 결과

연구 질문

• RQ1 개념 간 개별 질문이 아닌 다수의 은닉 개념에 걸쳐 忘却 행동을 효과적으로 모델링하는 방법은 무엇인가?
• RQ2 은닉 개념 간의 동적 관계가 지식 추적 성능 향상에 얼마나 기여하는가?
• RQ3 개념 간 상호의존성을 고려한 忘却 게이팅 메커니즘이 예측 정확도 향상에 기여하는가?
• RQ4 메모리 네트워크와 동적 그래프 학습의 통합이 지식 추적에서 일반화 능력을 어떻게 향상시키는가?
• RQ5 제안된 모델은 다양한 지식 추적 데이터셋에 대해 잘 일반화되는가?

주요 결과

• DGMN는 네 가지 잘 정립된 벤치마크 데이터셋에서 모든 최신 기술(SOTA) 지식 추적 모델을 일관되게 능가한다.
• 모델은 AUC와 AUPRC에서 뚜렷한 향상을 보이며, 아직 본 적 없는 질문 시퀀스에 대한 예측 성능 향상이 확인된다.
• 제거 실험 결과, 忘却 게이팅 메커니즘과 동적 개념 그래프 학습이 성능 향상에 기여한다는 것이 확인된다.
• 모델은 특히 忘却 효과가 두드러지는 장기 시퀀스에서 忘却 역학을 효과적으로 포착한다.
• 동적 그래프 구축 메커니즘이 학생 학습 패턴과 관련된 의미 있는 개념 관계를 성공적으로 학습한다.
• 메모리 기반의 사전 가정이 없는 설계 덕분에 모델은 냉시작 시나리오에서 강력한 일반화 능력을 보인다.

Figure 2: Model architecture of our proposed DGMN model, where the latent concept graph (LCG) module is on the left side, the attention memory (AM) module is in the middle, and the answer prediction layer is on the right side.