[논문 리뷰] Next-Term Student Performance Prediction: A Recommender Systems Approach

Mack Sweeney, Huzefa Rangwala외 2명|arXiv (Cornell University)|2016. 04. 07.

Online Learning and Analytics참고 문헌 28인용 수 105

한 줄 요약

논문은 콘텐츠 특성과 협업 필터링을 결합하고 FM, RF, 및 PMLR 모델을 사용하여 전통 대학의 다음 학기 성적 예측 시스템을 개발하고, 정확성과 해석 가능성을 향상시키는 새로운 특징 중요도 지표를 도입한다.

ABSTRACT

An enduring issue in higher education is student retention to successful graduation. National statistics indicate that most higher education institutions have four-year degree completion rates around 50 percent, or just half of their student populations. While there are prediction models which illuminate what factors assist with college student success, interventions that support course selections on a semester-to-semester basis have yet to be deeply understood. To further this goal, we develop a system to predict students' grades in the courses they will enroll in during the next enrollment term by learning patterns from historical transcript data coupled with additional information about students, courses and the instructors teaching them. We explore a variety of classic and state-of-the-art techniques which have proven effective for recommendation tasks in the e-commerce domain. In our experiments, Factorization Machines (FM), Random Forests (RF), and the Personalized Multi-Linear Regression model achieve the lowest prediction error. Application of a novel feature selection technique is key to the predictive success and interpretability of the FM. By comparing feature importance across populations and across models, we uncover strong connections between instructor characteristics and student performance. We also discover key differences between transfer and non-transfer students. Ultimately we find that a hybrid FM-RF method can be used to accurately predict grades for both new and returning students taking both new and existing courses. Application of these techniques holds promise for student degree planning, instructor interventions, and personalized advising, all of which could improve retention and academic performance.

연구 동기 및 목표

• 고등교육에서 오랜 기간 지속되어 온 학생 유지 문제를 동기 부여하고 해결한다.
• 역사적 성적표(과거 기록)와 학생, 과목, 교강사 특성을 활용하여 다음 등록 학기의 학생 성적을 예측한다.
• 콜드 스타트 및 비콜드 스타트 상황을 다루기 위해 하이브리드 콘텐츠 기반 및 협업 필터링 모델을 평가한다.
• 교수진 특성 및 전학(transfer) 학생 요인이 성적에 미치는 영향을 밝히기 위해 특징 중요도를 분석한다.
• 학위 계획 및 자문을 위한 해석 가능성과 예측 정확도를 개선하는 방법을 제안한다.

제안 방법

• 다음 학기 성적 예측을 풍부한 콘텐츠 특징을 가진 희소한 학생-과목 행렬에서 회귀 문제로 형식화한다.
• 단순 베이스라인, 행렬분해(SVD, SVD-kNN) 및 FM을 통한 하이브리드 모델을 탐구한다.
• FM을 통해 콘텐츠 특징을 통합하여 콜드스타트를 처리하고 2차 상호 작용을 학습한다.
• RF, SGD 회귀, kNN, 및 PMLR를 포함한 회귀 모델을 평가하고 FM용 새로운 MADImp 특징 중요도 지표를 구현한다.
• 두 모델의 강점을 활용하고 콜드 스타트 문제를 완화하기 위해 하이브리드 FM-RF 접근법을 제안한다.
• 데이터 누수를 피하기 위해 각 학기마다 하나의 모델을 학습하고 현재 학기에 대한 성적을 예측한다.

실험 결과

연구 질문

• RQ1 과거 기록과 학생, 과목, 교강사 특성을 보강한 정보를 사용하여 다음 학기 성적을 얼마나 잘 예측할 수 있는가?
• RQ2 콜드 스타트 및 비콜드 스타트 쌍에 대해 콘텐츠 특징과 협업 필터링 접근법을 결합하는 예측 가치는 무엇인가?
• RQ3 다음 학기 성적 예측에서 가장 낮은 예측 오차를 나타내는 모델(FM, RF, PMLR 등)은 무엇인가?
• RQ4 새로운 특징 중요도 지표가 해석 가능성을 향상시키고 모델 선택을 안내할 수 있는가?
• RQ5 하이브리드 FM-RF 접근법이 학생 하위집단(예: 전학/전입 여부)에 걸쳐 개별 모델보다 성능이 더 우수한가?

주요 결과

• Factorization Machines, Random Forests, and Personalized Multi-Linear Regression achieve the lowest prediction error among tested models.
• Incorporating content features via FM enhances predictive accuracy and interpretability through learned 2-way interactions.
• A novel feature importance metric (MADImp) improves interpretability of FM results and helps identify influential features.
• A hybrid FM-RF method outperforms the individual models by combining strengths and mitigating cold-start issues.
• There are notable connections between instructor characteristics and student performance, and differences between transfer and non-transfer students revealed by feature importance analyses.