[논문 리뷰] Will this Course Increase or Decrease Your GPA? Towards Grade-aware Course Recommendation

Sara Morsy, George Karypis|arXiv (Cornell University)|2019. 04. 22.

Recommender Systems and Techniques참고 문헌 43인용 수 7

한 줄 요약

이 논문은 학생의 GPA를 유지하거나 향상시킬 가능성이 높은 과목을 우선시하기 위해 성적 예측을 과목 추천과 통합한 등급 인지 과목 추천 프레임워크를 제안한다. 시간 순서로 정렬된 과목 시퀀스에 대해 표현 학습(SVD 및 Course2vec)을 적용한 방법은 등급 무시 기반 접근보다 성능이 뛰어나며, 높은 GPA를 기대할 수 있는 과목을 더 많이 추천하고 낮은 GPA를 기대할 수 있는 과목을 덜 추천한다. SVD 기반 모델은 16년간의 미네소타 대학교 데이터셋에서 23개 전공 분야에서 뛰어난 성능을 보였다.

ABSTRACT

In order to help undergraduate students towards successfully completing their degrees, developing tools that can assist students during the course selection process is a significant task in the education domain. The optimal set of courses for each student should include courses that help him/her graduate in a timely fashion and for which he/she is well-prepared for so as to get a good grade in. To this end, we propose two different grade-aware course recommendation approaches to recommend to each student his/her optimal set of courses. The first approach ranks the courses by using an objective function that differentiates between courses that are expected to increase or decrease a student's GPA. The second approach combines the grades predicted by grade prediction methods with the rankings produced by course recommendation methods to improve the final course rankings. To obtain the course rankings in both approaches, we adapt two widely-used representation learning techniques to learn the optimal temporal ordering between courses. Our experiments on a large dataset obtained from the University of Minnesota that includes students from 23 different majors show that the grade-aware course recommendation methods can do better on recommending more courses in which the students are expected to perform well and recommending fewer courses which they are expected not to perform well in than grade-unaware course recommendation methods.

연구 동기 및 목표

• 학위를 빠르게 이수하고 높은 GPA를 확보할 수 있도록 도와주는 과목 추천 시스템을 개선함으로써 학생들이 학위를 제시간에 이수하고 높은 성적으로 졸업하도록 지원하고자 한다.
• 과목 추천에 성적 예측을 통합하여 학생의 GPA에 미치는 영향을 명시적으로 고려하는 프레임워크를 구축하고자 한다.
• 학생이 이수한 과목의 시간적 순서를 모델링하여 GPA를 증가시키거나 감소시키는 최적의 과목 순서를 학습하고자 한다.
• 등급 인지 추천이 학생의 기대 성과 및 학업 성공과의 일치도를 높이는지 평가하고자 한다.
• 과목의 인기와 난이도 측면에서 균형을 이루도록 보장하여, 오직 인기 있는 과목이나 쉬운 과목에만 치우치지 않는 추천을 제공하고자 한다.

제안 방법

• 첫 번째 접근법은 학생의 GPA를 증가시키거나 감소시킬 것으로 예상되는 과목 시퀀스를 구분할 수 있도록 수정된 SVD 목적 함수를 사용하며, 과목 수강 기록을 시간 순서로 정렬된 시퀀스로 간주한다.
• 두 번째 접근법인 Course2vec는 Word2vec를 영감으로 삼은 로그선형 신경망 모델을 적용하여 학생 전공 기록에 나타나는 시간 순서에 따라 과목의 조밀한 벡터 표현을 학습한다.
• 두 방법 모두 과거의 과목 수강 데이터를 기반으로 훈련되며, 각 학생의 과목 이력은 시간 순서로 이어진 과목의 시퀀스로 간주된다.
• 프레임워크는 이전 성적 예측 모델에서 도출된 예측 성적을 통합하여 과목 순위를 보정함으로써 추천의 관련성을 향상시킨다.
• 필터링 메커니즘이 도입되어 추천 과목의 인기 수준 다양성을 확보하여, 과도하게 인기 있는 과목에 치우치는 것을 방지한다.
• 모델 평가는 실제 과목 수강 데이터를 포함한 테스트 세트에서 정밀도, 재현도, F1 점수 등의 지표를 사용하며, 다양한 전공 및 학생 집단 간 성능을 분석한다.

실험 결과

연구 질문

• RQ1 과목 추천 시스템이 과목의 예상 학생 성과(즉, GPA 영향)를 명시적으로 통합함으로써 향상시킬 수 있는가?
• RQ2 SVD 및 Course2vec와 같은 표현 학습 기법이 GPA 영향을 고려해 과목 시퀀스를 모델링하는 데 어떻게 성능을 발휘하는가?
• RQ3 성적 예측과 과목 추천을 결합함으로써 단독으로 사용할 경우보다 더 나은 추천 품질을 달성할 수 있는가?
• RQ4 등급 인지 추천은 오직 인기 있는 과목이나 쉬운 과목에 편향되는가, 아니면 인기 수준과 난이도 면에서 다양성을 유지하는가?
• RQ5 등급 인지 추천은 학생의 GPA에 악영향을 줄 것으로 예상되는 과목의 수를 줄이고, 반대로 향상시킬 것으로 예상되는 과목의 수를 늘릴 수 있는가?

주요 결과

• 등급 인지 과목 추천 방법은 등급 무시 기반 기준보다 뚜렷이 뛰어나며, GPA를 증가시킬 것으로 예상되는 과목을 20~50% 더 많이 추천하고, 감소시킬 것으로 예상되는 과목을 덜 추천했다.
• SVD 기반 접근법(SVD(+-))가 가장 높은 성능을 보였으며, 정밀도 3.56, 재현도 3.55, F1 점수 0.20를 기록하여 데이터셋에서 다른 모델들을 압도했다.
• 좋은 과목과 나쁜 과목을 구분하는 모델들(예: grp-pop(+-) 및 CKRM+SVD(+-))은 오직 좋은 과목만 사용하는 모델들과 유사한 성능을 보였으며, 이는 강건성을 의미한다.
• 추천 과목은 인기 수준에 걸쳐 잘 분포되어 있었으며, CKRM+SVD(+-)는 덜 인기 있는 과목을 선호함으로써 고수요 과목에 대한 편향이 감소했음을 시사했다.
• 제안된 방법은 모든 23개 전공 및 학생 하위군에서 최고의 기준 모델을 뛰어넘는 일관된 성능을 보였으며, 일반화 가능성을 입증했다.
• 프레임워크는 쉬운 과목이나 난이도가 낮은 과목을 선호하지 않았으며, 이는 추천이 오로지 과목 난이도가 아닌 GPA 영향과 순서 학습에 기반하여 이뤄졌음을 의미한다.