[논문 리뷰] HGKT: Introducing Hierarchical Exercise Graph for Knowledge Tracing

Hanshuang Tong, Zhen Wang외 4명|arXiv (Cornell University)|2020. 06. 13.

Advanced Graph Neural Networks참고 문헌 47인용 수 13

한 줄 요약

HGKT는 문제 유형과 주의 메커니즘을 통합함으로써 연습 간 잠재적 의존성을 모델링하기 위해 계층적 연습 그래프(Hierarchical Exercise Graph, HEG)를 제안한다. K&S 진단 행렬을 통해 예측 정확도와 해석 가능성은 향상시키며, 텍스트 기반 연습이 풍부한 대규모 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Knowledge tracing (KT) which aims at predicting learner's knowledge mastery plays an important role in the computer-aided educational system. In recent years, many deep learning models have been applied to tackle the KT task, which have shown promising results. However, limitations still exist. Most existing methods simplify the exercising records as knowledge sequences, which fail to explore rich information that existed in exercises. Besides, the existing diagnosis results of knowledge tracing are not convincing enough since they neglect prior relations between exercises. To solve the above problems, we propose a hierarchical graph knowledge tracing model called HGKT to explore the latent hierarchical relations between exercises. Specifically, we introduce the concept of problem schema to construct a hierarchical exercise graph that could model the exercise learning dependencies. Moreover, we employ two attention mechanisms to highlight the important historical states of learners. In the testing stage, we present a K&S diagnosis matrix that could trace the transition of mastery of knowledge and problem schema, which can be more easily applied to different applications. Extensive experiments show the effectiveness and interpretability of our proposed models.

연구 동기 및 목표

• 연습 간 계층적 관계를 모델링하여 지식 추적에서 연습 표현 손실을 해결한다.
• 연습 간 직접적 및 간접적 지원 관계를 포착함으로써 진단의 해석 가능성을 향상시킨다.
• 문제 유형과 주의 메커니즘을 활용하여 지식 추적의 성능과 설명 가능성을 향상시킨다.
• 지식과 문제 유형에 대한 숙달 전이를 추적할 수 있는 K&S 진단 행렬을 개발한다.
• 풍부한 연습 텍스트를 포함한 대규모 지식 추적 데이터셋을 구축하고 평가한다.

제안 방법

• 문제 유형을 사용하여 직접적 및 간접적 지원 관계를 모델링하는 계층적 연습 그래프(HEG)를 구축한다.
• HEG 내에서 노드 표현을 인코딩하기 위해 계층적 그래프 컨볼루션 네트워크(HGCN)를 도입하여 다중 수준의 의존성을 포착한다.
• 두 가지 주의 메커니즘을 활용한다: 시퀀스 주의는 관련된 이전 상태를 강조하고, 그래프 주의는 HEG 내에서 중요한 노드에 집중한다.
• 지식과 문제 유형 숙달을 시간에 따라 공동으로 추적할 수 있는 K&S 진단 행렬을 설계하여 해석 가능한 진단을 가능하게 한다.
• 시퀀스 주의와 그래프 주의를 사용하여 모델을 엔드 투 엔드로 훈련하고 향후 성과를 예측한다.
• 모델의 효과성과 일반화 능력을 검증하기 위해 연습 텍스트가 풍부한 대규모 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 연습 간 계층적 관계는 지식 추적 성능을 어떻게 향상시키는가?
• RQ2 문제 유형과 주의 메커니즘이 모델의 해석 가능성과 정확도를 얼마나 향상시키는가?
• RQ3 K&S 진단 행렬은 전통적인 지식 추적 방법보다 더 실용적인 통찰을 제공할 수 있는가?
• RQ4 시퀀스 주의에서 다양한 윈도우 크기는 모델 성능에 어떤 영향을 미치는가?
• RQ5 연습 텍스트와 계층적 구조를 통합하면 지식 추적에서 더 나은 일반화 성능를 달성할 수 있는가?

주요 결과

• HGKT는 DKT, GKT, EKT와 같은 기존 방법들보다 지식 추적의 정확도 및 해석 가능성 지표에서 모두 뛰어난 성능을 보였다.
• K&S 진단 행렬은 특정 문제 유형과 연관된 지식 숙달을 연결함으로써 더 신뢰할 수 있고 실용적인 학습자 진단을 가능하게 하였다.
• HGKT-sche와 HGKT-seq는 HGKT-noa보다 더 뛰어난 성능을 보이며, 두 주의 메커니즘이 효과적임을 확인하였다.
• 시퀀스 주의에서 윈도우 크기가 20일 때 최적의 성능를 기록하여 최근 약 20개의 연습이 현재 학습 상태를 가장 잘 반영하는 것으로 나타났다.
• 사례 연구를 통해 HGKT는 HEG 구조를 통해 학습자의 실수를 설명하였으며, 실수와 지식 저하 간의 상관관계가 더 강하게 나타났다.
• 제안된 프레임워크는 적응형 문제 추천 및 개인화된 학습 보고서와 같은 실생활 응용 분야에서 효과적임을 입증하였다.