[논문 리뷰] Sparse Neural Attentive Knowledge-based Models for Grade Prediction

Sara Morsy, George Karypis|arXiv (Cornell University)|2019. 04. 22.

Online Learning and Analytics참고 문헌 19인용 수 4

한 줄 요약

이 논문은 기존의 CKRM와 같이 모든 이전 과목이 동일한 기여를 한다는 가정을 하지 않고, 동적이고 주의 기반 가중치를 학습하여 성적 예측을 향상시키기 위해 신경망 기반 지식 기반 모델(NAK)을 제안한다. sparsemax 활성화 함수를 사용함으로써 NAK는 CKRM 및 기타 기준 모델보다 유의미하게 높은 정확도를 달성하며, 희소 주의 가중치를 통해 공식적이고 비공식적인 핵심 선수업을 식별함으로써 더 나은 과목 기획이 가능해진다.

ABSTRACT

Grade prediction for future courses not yet taken by students is important as it can help them and their advisers during the process of course selection as well as for designing personalized degree plans and modifying them based on their performance. One of the successful approaches for accurately predicting a student's grades in future courses is Cumulative Knowledge-based Regression Models (CKRM). CKRM learns shallow linear models that predict a student's grades as the similarity between his/her knowledge state and the target course. A student's knowledge state is built by linearly accumulating the learned provided knowledge components of the courses he/she has taken in the past, weighted by his/her grades in them. However, not all the prior courses contribute equally to the target course. In this paper, we propose a novel Neural Attentive Knowledge-based model (NAK) that learns the importance of each historical course in predicting the grade of a target course. Compared to CKRM and other competing approaches, our experiments on a large real-world dataset consisting of $\sim$1.5 grades show the effectiveness of the proposed NAK model in accurately predicting the students' grades. Moreover, the attention weights learned by the model can be helpful in better designing their degree plans.

연구 동기 및 목표

• 기존의 지식 기반 모델인 CKRM와 같이 모든 이전 과목이 향후 성적 예측에 동일하게 기여한다고 가정하는 한계를 해결하기 위해.
• 각 과거 과목이 목표 과목에 대해 varying한 중요성을 가지므로, 이를 학습하여 예측 정확도를 향상시키기 위해.
• 신경망의 주의 메커니즘을 활용하여, 공식적이거나 비공식적인 선수업까지 자동으로 식별하기 위해.
• 학습된 주의 가중치를 해석함으로써 더 나은 학업 상담 및 개인 맞춤형 학위 기획을 가능하게 하기 위해.
• 실제 대학 데이터를 기반으로 한 grade prediction 맥락에서 소프트 및 희소 주의 메커니즘의 효과를 평가하기 위해.

제안 방법

• NAK 모델은 신경망을 사용하여 이전 과목들에 대한 주의 가중치를 계산하며, CKRM에서 사용하는 균일한 가중치를 학습된 동적 가중치로 대체한다.
• 모델은 주의 가중치를 생성하기 위해 소프트맥스와 스파스맥스 활성화 함수를 모두 사용하며, 스파스맥스는 불필요한 과목 가중치를 0으로 설정함으로써 희소성을 촉진한다.
• 학생의 지식 상태는 이전 과목 임베딩의 가중합으로 계산되며, 가중치는 학습된 주의 점수이다.
• 모델은 학생의 주의 가중치를 적용한 지식 상태와 목표 과목의 임베딩 벡터 간의 내적곱을 통해 학생의 목표 과목 성적을 예측한다.
• 모델은 주요 대학에서 16년간의 약 150만 개의 성적 데이터로 구성된 대규모 데이터셋에서 엔드 투 엔드로 훈련된다.
• 성능 향상을 위해 각 학생의 평균 이전 성적을 빼는 행 중심화(row-centering) 기법을 적용한다.

실험 결과

연구 질문

• RQ1 기존의 지식 기반 모델인 CKRM과 비교해 주의 메커니즘이 성적 예측 정확도를 향상시킬 수 있는가?
• RQ2 스파스맥스를 통한 희소 주의(스파스맥스)가 불필요한 이전 과목을 걸러내면서 관련 선수업을 더 잘 식별할 수 있는가?
• RQ3 학습된 주의 가중치가 과목 카탈로그에 명시적으로 나와 있지 않은 공식적이고 비공식적인 선수업을 반영하는가?
• RQ4 RMSE와 예측 정확도 측면에서 NAK의 성능이 KRM(sum), KRM(avg), 행렬 분해와 같은 기준 모델과 비교해 어떻게 되는가?
• RQ5 주의 가중치의 해석 가능성은 더 나은 학업 상담 및 개인 맞춤형 학위 기획을 지원할 수 있는가?

주요 결과

• NAK(sparse)는 가장 성능이 뛰어난 기준 모델인 KRM(avg)보다 약 2% 낮은 RMSE를 기록하여 예측 정확도 향상이 뚜렷하게 입증되었다.
• NAK(sparse)는 KRM(avg) 대비 두 틱 오차 내에서 약 1% 높은 예측 정확도를 달성하여 성적 추정의 정밀도가 향상됨을 시사한다.
• 스파스맥스 활성화 함수는 희소 주의 가중치를 성공적으로 생성하였으며, 불필요한 과목의 가중치가 0으로 설정되어 불필요한 과목을 효과적으로 걸러냈다.
• 학습된 주의 가중치를 기반으로 공식 선수업(예: 중급 독일어 I → 중급 독일어 II)과 비공식 선수업(예: 대학 글쓰기 → 독일어 과목들)을 모두 정확히 식별하였다.
• 정성적 분석 결과, 주의 가중치는 학문적 요구사항과 일치하며, 전공 과목 외의 과목들에 대해서도 이해 가능하고 해석 가능한 것으로 나타났다.
• 모델이 감독 없이도 숨겨진 선수업을 학습할 수 있다는 점은, 명시된 과목 카탈로그를 초월한 지식적 의존 관계를 효과적으로 포착하고 있음을 시사한다.