[논문 리뷰] Bi-CLKT: Bi-Graph Contrastive Learning based Knowledge Tracing

Xiangyu Song, Jianxin Li외 4명|arXiv (Cornell University)|2022. 01. 22.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 학생의 상호작용 패턴을 바탕으로 '연습문제-연습문제'(E2E) 및 '개념-개념'(C2C) 관계 하위그래프를 활용하여 연습문제와 개념의 표현을 동시에 학습하는 새로운 지식 추적 모델인 Bi-CLKT를 제안한다. 노드 수준 및 그래프 수준의 대비 학습을 적용하고, 통합 손실을 통해 표현을 통합함으로써, 네 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성하여 기존 방법보다 정확도와 AUC에서 최대 3% 향상되었다.

ABSTRACT

The goal of Knowledge Tracing (KT) is to estimate how well students have mastered a concept based on their historical learning of related exercises. The benefit of knowledge tracing is that students' learning plans can be better organised and adjusted, and interventions can be made when necessary. With the recent rise of deep learning, Deep Knowledge Tracing (DKT) has utilised Recurrent Neural Networks (RNNs) to accomplish this task with some success. Other works have attempted to introduce Graph Neural Networks (GNNs) and redefine the task accordingly to achieve significant improvements. However, these efforts suffer from at least one of the following drawbacks: 1) they pay too much attention to details of the nodes rather than to high-level semantic information; 2) they struggle to effectively establish spatial associations and complex structures of the nodes; and 3) they represent either concepts or exercises only, without integrating them. Inspired by recent advances in self-supervised learning, we propose a Bi-Graph Contrastive Learning based Knowledge Tracing (Bi-CLKT) to address these limitations. Specifically, we design a two-layer contrastive learning scheme based on an "exercise-to-exercise" (E2E) relational subgraph. It involves node-level contrastive learning of subgraphs to obtain discriminative representations of exercises, and graph-level contrastive learning to obtain discriminative representations of concepts. Moreover, we designed a joint contrastive loss to obtain better representations and hence better prediction performance. Also, we explored two different variants, using RNN and memory-augmented neural networks as the prediction layer for comparison to obtain better representations of exercises and concepts respectively. Extensive experiments on four real-world datasets show that the proposed Bi-CLKT and its variants outperform other baseline models.

연구 동기 및 목표

• 기존 지식 추적 모델이 연습문제 수준의 차이를 간과하고 복잡한 노드 간 관계를 모델링하지 못하는 한계를 해결하기 위해.
• 자기지도 학습 기반의 대비 학습을 통해 연습문제 및 개념 표현을 통합함으로써 예측 성능을 향상시키기 위해.
• 다양한 개념을 포함하는 연습문제에서의 데이터 희소성과 모델 정확도 저하 문제를 고차원 관계 구조를 활용하여 해결하기 위해.
• 통합된 대비 학습 프레임워크 내에서 다양한 증강, 임베딩 및 예측 메커니즘의 효과를 탐색하기 위해.
• 지식 추적을 위한 더 나은 표현을 위해 국소적(연습문제 수준) 및 글로벌(개념 수준) 의미 정보를 동시에 포괄하는 통합 모델을 개발하기 위해.

제안 방법

• 모델은 학생의 상호작용 패턴을 기반으로 '연습문제-연습문제'(E2E) 하위그래프와 '개념-개념'(C2C) 하위그래프를 구성한다.
• 노드 수준의 대비 학습을 E2E 하위그래프에 적용하여 구분 가능한 연습문제 표현을 학습한다.
• 그래프 수준의 대비 학습을 C2C 하위그래프에 적용하여 구분 가능한 개념 표현을 학습한다.
• E2E 및 C2C 표현을 동시에 최적화하기 위해 통합 대비 손실을 설계하여 특징의 구분 능력을 향상시킨다.
• 두 가지 변형을 구현한다: 예측층에서 순환 신경망을 사용하는 Bi-CLKT-R과 메모리 증강 네트워크를 사용하는 Bi-CLKT-M.
• 연습문제 표현은 E2E 및 C2C 임베딩을 연결하여 형성되며, 이는 최종 학생 성과 예측에 사용된다.

실험 결과

연구 질문

• RQ1 이중 그래프 대비 학습을 통해 연습문제 및 개념 간 관계를 함께 모델링함으로써 지식 추적 성능을 향상시킬 수 있는가?
• RQ2 다양한 증강 전략(예: 차수, PageRank 중심성)이 다양한 데이터셋 간 모델 일반화에 어떤 영향을 미치는가?
• RQ3 E2E 및 C2C 임베딩을 결합하면 개별적으로 사용할 때보다 성능 향상이 이루어지는가?
• RQ4 예측 메커니즘으로서 RNN과 메모리 증강 네트워크 중 어느 것이 지식 추적에서 더 뛰어난 성능을 낼 수 있는가?
• RQ5 통합 대비 손실이 표현 학습 및 후속 예측 정확도 향상에 얼마나 기여하는가?

주요 결과

• Bi-CLKT-R는 ASSISTment 2009 데이터셋에서 AUC 0.875와 정확도 0.802를 기록하여 모든 기준 모델보다 최소 3% 이상 뛰어났다.
• PageRank 중심성 증강을 적용한 모델은 네 개의 데이터셋 중 세 개에서 최고 성능을 기록했으며, STATICS 2011에서는 AUC 0.865를 달성했다.
• E2E 및 C2C 임베딩을 결합한 결과는 개별적으로 사용할 경우보다 유의미하게 향상되었으며, ASSISTment 2009에서 최고 AUC 0.875를 기록했다.
• Bi-CLKT-R 변형은 세 개의 데이터셋에서 Bi-CLKT-M보다 최소 2% 이상 뛰어났으며, 특히 ASSISTment 2009와 STATICS 2011에서 뛰어난 성능을 보였다.
• 제거 실험을 통해 통합 대비 손실과 다중 수준 그래프 학습이 표현 품질과 예측 정확도 향상에 크게 기여한다는 것이 확인되었다.
• 다양한 증강 방법(차수 대비 PageRank)이 다양한 데이터셋에서 잘 작동했으며, 과적합 없이 강력한 일반화 능력을 보였다.