[논문 리뷰] Student Performance Prediction Using Dynamic Neural Models

Marina Delianidi, Konstantinos Diamantaras외 2명|arXiv (Cornell University)|2021. 06. 01.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 22인용 수 7

한 줄 요약

이 논문은 학생 성취도 예측을 위한 이중 구조의 동적 신경망 모델을 제안하며, 학생 지식 상태의 시간적 변화를 추적하기 위해 양방향 GRU(Bi-GRU) 또는 시간 지연 신경망(TDNN)을 사용하고, 이후에 전방향 분류기로 이어진다. Bi-GRU 모델은 다섯 개의 기준 데이터셋 중 네 개에서 TDNN 및 최신 기술 모델들을 능가하며, 사전 학습된 기술 임베딩이나 주의 메커니즘의 유의미한 이점 없이도 성능을 확보한다.

ABSTRACT

We address the problem of predicting the correctness of the student's response on the next exam question based on their previous interactions in the course of their learning and evaluation process. We model the student performance as a dynamic problem and compare the two major classes of dynamic neural architectures for its solution, namely the finite-memory Time Delay Neural Networks (TDNN) and the potentially infinite-memory Recurrent Neural Networks (RNN). Since the next response is a function of the knowledge state of the student and this, in turn, is a function of their previous responses and the skills associated with the previous questions, we propose a two-part network architecture. The first part employs a dynamic neural network (either TDNN or RNN) to trace the student knowledge state. The second part applies on top of the dynamic part and it is a multi-layer feed-forward network which completes the classification task of predicting the student response based on our estimate of the student knowledge state. Both input skills and previous responses are encoded using different embeddings. Regarding the skill embeddings we tried two different initialization schemes using (a) random vectors and (b) pretrained vectors matching the textual descriptions of the skills. Our experiments show that the performance of the RNN approach is better compared to the TDNN approach in all datasets that we have used. Also, we show that our RNN architecture outperforms the state-of-the-art models in four out of five datasets. It is worth noting that the TDNN approach also outperforms the state of the art models in four out of five datasets, although it is slightly worse than our proposed RNN approach. Finally, contrary to our expectations, we find that the initialization of skill embeddings using pretrained vectors offers practically no advantage over random initialization.

연구 동기 및 목표

• 지식 상태의 변화를 동적 시퀀스 학습 문제로 모델링하여 학생 성취도 예측 성능을 향상시키기.
• 유한 메모리 TDNN과 무한 메모리 RNN(특히 Bi-GRU)이 지식 추적에서 얼마나 효과적인지 비교하기.
• 랜덤 초기화 대비 사전 학습된 단어 임베딩을 사용한 기술 임베딩 초기화 전략이 모델 성능에 미치는 영향 평가하기.
• 주의 메커니즘이 지식 추적 작업에서 예측 정확도를 향상시키는지 조사하기.
• 임베딩 레이어 이후에 컨볼루션 레이어와 공간 드롭아웃을 도입하여 과적합에 강건한 아키텍처 개발하기.

제안 방법

• 모델는 두 부분으로 구성된 아키텍처를 사용하며, 순차적 응답 기록에서 변화하는 학생 지식 상태를 추정하기 위해 동적 신경망(Bi-GRU 또는 TDNN)을 활용한다.
• 학생의 응답과 관련 기술은 학습 가능한 임베딩으로 인코딩되며, 기술 임베딩은 랜덤 또는 사전 학습된 Word2Vec/FastText 벡터로 초기화된다.
• 임베딩 레이어 이후에 커널 크기 3, 활성화 함수로 ReLU를 사용하는 컨볼루션 레이어를 적용하여 차원을 감소시키고 과적합을 억제한다.
• 컨볼루션 레이어 이후에 공간 드롭아웃을 적용하여 모델의 정규화를 강화하고 일반화 성능을 향상시킨다.
• 다중 레이어 전방향 신경망은 추정된 지식 상태를 바탕으로 다음 응답의 정확도를 분류한다.
• 모델는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 조기 정지 기법과 함께 Adam 최적화기를 사용한다.

실험 결과

연구 질문

• RQ1 여러 데이터셋에서 Bi-GRU 아키텍처를 사용할 경우 TDNN 대비 더 높은 성능을 내는가?
• RQ2 랜덤 초기화 대비 사전 학습된 단어 벡터로 기술 임베딩을 초기화하면 성능 향상이 가시적으로 이루어지는가?
• RQ3 주의 메커니즘 또는 키-밸류 모듈이 이 지식 추적 설정에서 예측 정확도를 향상시키는가?
• RQ4 컨볼루션 레이어와 공간 드롭아웃이 지식 추적 모델의 과적합을 효과적으로 줄일 수 있는가?
• RQ5 다양한 기준 데이터셋에서 제안된 모델이 기존 최신 기술 모델 대비 AUC 측면에서 어떻게 비교되는가?

주요 결과

• Bi-GRU 기반 모델은 다섯 개의 기준 데이터셋 전부에서 TDNN 기반 모델보다 뛰어난 성능을 보이며, 통계적으로 유의미한 차이가 있다(p값 < 1e-40).
• Bi-GRU 모델은 다섯 개 데이터셋 중 네 개에서 최신 기술 모델을 능가하는 성능을 기록하며, DKVMN 및 Deep-IRT와 같은 기존 모델을 초월한다.
• TDNN 기반 모델 역시 다섯 개 데이터셋 중 네 개에서 이전 최신 기술 모델을 능가하지만, Bi-GRU에 비해 略로 뒤지며 성능이 떨어진다.
• 기술 임베딩에 사전 학습된 단어 임베딩을 사용하는 것은 랜덤 초기화 대비 유의미한 성능 향상을 가져오지 못했으며, 예상과는 정반대의 결과를 보였다.
• 주의 메커니즘과 키-밸류 모듈은 성능 향상에 기여하지 않아 최종 모델에서 제거되었다.
• 임베딩 이후에 컨볼루션 레이어와 공간 드롭아웃을 적용함으로써 과적합이 크게 감소하고 모델 일반화 성능이 향상되었다.