[논문 리뷰] Dynamic Knowledge embedding and tracing

Liangbei Xu, Mark A. Davenport|arXiv (Cornell University)|2020. 05. 18.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 24인용 수 7

한 줄 요약

이 논문은 수동으로 개념/기능 태그를 붙이지 않아도 학생의 지식을 동적으로 추적할 수 있도록 행렬 분해를 이용한 질문 임베딩과 순환 신경망(RNN)을 결합한 새로운 지식 추적 프레임워크인 DynEmb를 제안한다. 이 방법은 실제 데이터셋에서 베이스라인 대비 AUC 성능을 최대 5.43% 향상시키며 상태의 최고 성능(SOTA)을 달성했으며, 임베딩 차원 수에 대한 강건성과 사전학습의 효과적인 활용도를 보였다.

ABSTRACT

The goal of knowledge tracing is to track the state of a student's knowledge as it evolves over time. This plays a fundamental role in understanding the learning process and is a key task in the development of an intelligent tutoring system. In this paper we propose a novel approach to knowledge tracing that combines techniques from matrix factorization with recent progress in recurrent neural networks (RNNs) to effectively track the state of a student's knowledge. The proposed \emph{DynEmb} framework enables the tracking of student knowledge even without the concept/skill tag information that other knowledge tracing models require while simultaneously achieving superior performance. We provide experimental evaluations demonstrating that DynEmb achieves improved performance compared to baselines and illustrating the robustness and effectiveness of the proposed framework. We also evaluate our approach using several real-world datasets showing that the proposed model outperforms the previous state-of-the-art. These results suggest that combining embedding models with sequential models such as RNNs is a promising new direction for knowledge tracing.

연구 동기 및 목표

• 수동으로 태그된 개념/기능 정보에 의존하지 않고 시간에 따라 변화하는 학생의 숙련도를 추적할 수 있는 지식 추적 프레임워크를 개발하는 것.
• RNN을 통한 순차적 모델링과 잠재적 질문 임베딩을 통합하여 학생의 응답 예측 성능을 향상시키는 것.
• 사용 가능한 경우 기능 태그와 같은 보조 정보를 통합할 수 있고, 다양한 순차적 모델링 기법을 지원할 수 있는 유연하고 강건한 프레임워크를 구축하는 것.
• 학생의 학습이 단순 관찰 외에도 상호작용에 의해 영향을 받는 동적 지식 변화의 과제를 해결하는 것.
• 행렬 분해와 RNN을 조합하는 것이 지식 추적 분야에서 유망한 방향임을 입증하는 것.

제안 방법

• 학생-질문 응답 상호작용에서 고정된 잠재 표현을 학습하기 위해 행렬 분해 기반의 정적 임베딩 네트워크를 사용한다.
• 각 학생의 지식 상태가 시간에 따라 어떻게 변화하는지를 순차적 응답 시퀀스에서 모델링하기 위해 RNN 기반의 동적 구성요소를 활용한다.
• 질문 임베딩은 학생-질문 응답 행렬의 저랭크 행렬 분해를 통해 초기화되며, 희박성과 기능 태그와의 의미적 일치를 촉진한다.
• 이중 단계 학습 전략을 사용한다: 먼저 행렬 분해를 통해 질문 임베딩을 사전학습하고, 이후 전체 RNN 기반의 학생 동적 모델을 엔드 투 엔드로 미세조정한다.
• 응답 예측을 위해 이진 교차 엔트로피 손실을 사용하고, 과적합을 방지하기 위해 L2 정규화를 통합한다.
• 사용 가능한 경우 기능 태그, 질문 텍스트, 상호작용 기록과 같은 추가 기능의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 질문에 대해 수동으로 레이블링된 개념/기능 태그가 필요 없이도 지식 추적 모델이 뛰어난 성능을 달성할 수 있는가?
• RQ2 행렬 분해와 RNN을 조합할 경우 학생 지식 추적의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 임베딩 차원 수가 동적 지식 추적 프레임워크 성능에 어떤 영향을 미치는가?
• RQ4 엔드 투 엔드 학습에 비해 질문 임베딩의 사전학습이 일반화 능력과 학습 안정성 향상에 기여하는가?
• RQ5 학습된 질문 임베딩이 수동으로 정의된 기능 구조와 얼마나 잘 일치하는가? 이는 해석 가능성 향상에 기여하는가?

주요 결과

• DynEmb는 AUC 성능에서 뚜렷한 향상을 보였으며, 평가된 모든 데이터셋에서 최고의 베이스라인 대비 최대 5.43% 향상되었다.
• 모델은 임베딩 차원 수의 변동에 대해 매우 강건하여 다양한 설정에서도 안정된 성능을 유지했다.
• 질문 임베딩의 사전학습은 과적합을 방지하고 엔드 투 엔드 학습에 비해 더 나은 일반화 성능을 이끌어냈다. 반면 엔드 투 엔드 학습은 과적합 문제를 겪었다.
• 시각화 결과에서 학습된 질문 임베딩은 기능 정체성에 따라 명확한 클러스터링을 보였으며, 직접적인 지도 학습 없이도 수동으로 정의된 기능과 의미적으로 잘 일치함을 시사했다.
• 개념/기능 태그가 제공되지 않을 경우에도 모델은 뛰어난 성능을 유지했으며, 수작업 태깅에 대한 의존도를 줄였다.
• 모델은 매우 탄력적이고 확장 가능하며, 기능 태그나 질문 텍스트와 같은 추가 기능을 사용 가능한 경우에 통합할 수 있다.