[논문 리뷰] HGKT : Introducing Problem Schema with Hierarchical Exercise Graph for Knowledge Tracing.

Hanshuang Tong, Yun Zhou외 1명|arXiv (Cornell University)|2020. 06. 13.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 15인용 수 8

한 줄 요약

이 논문은 문제 스키마 인식 그래프를 통해 연습 문제와 지식을 모델링하고 이중 주의 메커니즘을 통해 시퀀스 모델링을 향상시키는 계층적 그래프 지식 추적 프레임워크인 HGKT를 제안한다. 잠재적인 계층적 구조와 학생의 학습 역학을 포착함으로써 지식 추적 성능과 해석 가능성 모두 향상시키며, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge tracing (KT) which aims at predicting learner's knowledge mastery plays an important role in the computer-aided educational system. In recent years, many deep learning models have been applied to tackle the KT task, which has shown promising results. However, limitations still exist. Most existing methods simplify the exercising records as knowledge sequence, which fails to explore rich information existed in exercise texts. Besides, the latent hierarchical graph nature of exercises and knowledge remains unexplored. Thus, in this paper, we propose a hierarchical graph knowledge tracing model framework (HGKT) which can leverage the advantages of hierarchical exercise graph and of sequence model to enhance the ability of knowledge tracing. Besides, we introduce the concept of problem schema to better represent a group of similar exercises and propose a hierarchical graph neural network to learn representations of problem schemas. Moreover, in the sequence model, we employ two attention mechanisms to highlight important historical states of students. In the testing stage, we present a K\&S diagnosis matrix that could trace the transition of mastery of knowledge and problem schema, which can be more easily applied to different applications. Extensive experiments show the effectiveness and interpretability of our proposed models.

연구 동기 및 목표

• 기존 지식 추적 모델이 연습 기록을 단순한 지식 시퀀스로 간주하여 풍부한 텍스트 및 구조적 정보를 忽시하는 한계를 해결하기 위해.
• 연습 문제와 지식 개념 간의 계층적 그래프 구조를 활용하여 더 나은 표현 학습을 위한 기반을 마련하기 위해.
• 유사한 연습 문제를 그룹화하는 문제 스키마 개념을 도입하여 지식 추적의 일반화 능력을 향상시키기 위해.
• 지식 및 스키마 상태 기반으로 중요한 이전 학생 상태를 강조하는 이중 주의 메커니즘을 통합하여 시퀀스 모델링을 향상시키기 위해.
• 지식 및 스키마 숙달 전이를 해석 가능한 방식으로 추적하기 위한 K& S 진단 행렬을 개발하기 위해.

제안 방법

• 다중 수준에서 연습 문제와 지식 개념 간의 구조적 관계를 포착하는 계층적 연습 그래프를 구축하기 위해.
• 유사한 연습 문제의 의미적 군집으로서 문제 스키마를 도입하고, 계층적 그래프 신경망을 통해 공통 패턴을 모델링하기 위해.
• 지식 및 스키마 상태 기반으로 중요도를 동적으로 가중하는 이중 주의 메커니즘을 시퀀스 모델에 설계하기 위해.
• 계층적 그래프 구조에서 문제 스키마 및 지식 노드의 맥락 기반 표현을 학습하기 위해 그래프 신경망을 사용하기 위해.
• 학습 과정에서 지식 개념과 문제 스키마의 숙달 변화를 가시화하고 추적할 수 있도록 K& S 진단 행렬을 개발하기 위해.
• 계층적 그래프 및 시퀀스 모델링 구성 요소를 통합하여 엔드 투 엔드로 학습 가능한 지식 추적 프레임워크(HGKT)를 구축하기 위해.

실험 결과

연구 질문

• RQ1 평면적 시퀀스 기반 접근 방식에 비해 연습 문제를 계층적 그래프로 모델링하는 것이 지식 추적 성능 향상에 기여하는가?
• RQ2 문제 스키마 도입이 유사한 연습 문제 간의 공통 패턴을 포착하고 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 이중 주의 메커니즘이 지식 추적에서 학생의 학습 역학을 모델링하는 데 얼마나 기여하는가?
• RQ4 K& S 진단 행렬이 표준 지식 추적 출력에 비해 학생의 지식 및 스키마 숙달에 대한 더 해석 가능한 통찰을 제공할 수 있는가?
• RQ5 여러 기준 데이터셋에서 HGKT는 정확도 및 해석 가능성 측면에서 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?

주요 결과

• HGKT는 다양한 기준 지식 추적 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법들보다 정확도 및 ROC 곡선 아래 면적에서 뛰어난 성능을 보였다.
• 문제 스키마 통합으로 인해 특히 저자료 환경에서 유사한 연습 문제 간의 일반화 능력 향상에 기여하였다.
• 이중 주의 메커니즘이 중요한 이전 학생 상태를 효과적으로 포착하여 향후 지식 숙달 예측의 정확도를 높였다.
• K& S 진단 행렬은 숙달 전이의 해석 가능한 시각화를 가능하게 하여 적응형 학습 시스템의 진단 응용에 기여하였다.
• 계층적 그래프 구조는 연습 문제와 지식 간 잠재적 관계를 효과적으로 모델링하여 더 견고하고 의미 있는 표현을 도출하였다.