[논문 리뷰] Grade Prediction with Temporal Course-wise Influence

Zhiyun Ren, Xia Ning외 1명|arXiv (Cornell University)|2017. 09. 15.

Online Learning and Analytics참고 문헌 16인용 수 14

한 줄 요약

이 논문은 시간적 동적 변화와 과목별 영향 효과를 통합함으로써 다음 학기 성적 예측을 향상시키는 인상적인 요소 기반 모델인 시간적 과목별 영향을 고려한 행렬 분해(MFTCI)를 제안한다. 이 방법은 최신 기준 모델들을 능가하며, 학문 프로그램의 구조를 반영하는 의미 있는, 내용 기반의 과목 영향 패턴을 학습한다.

ABSTRACT

There is a critical need to develop new educational technology applications that analyze the data collected by universities to ensure that students graduate in a timely fashion (4 to 6 years); and they are well prepared for jobs in their respective fields of study. In this paper, we present a novel approach for analyzing historical educational records from a large, public university to perform next-term grade prediction; i.e., to estimate the grades that a student will get in a course that he/she will enroll in the next term. Accurate next-term grade prediction holds the promise for better student degree planning, personalized advising and automated interventions to ensure that students stay on track in their chosen degree program and graduate on time. We present a factorization-based approach called Matrix Factorization with Temporal Course-wise Influence that incorporates course-wise influence effects and temporal effects for grade prediction. In this model, students and courses are represented in a latent "knowledge" space. The grade of a student on a course is modeled as the similarity of their latent representation in the "knowledge" space. Course-wise influence is considered as an additional factor in the grade prediction. Our experimental results show that the proposed method outperforms several baseline approaches and infer meaningful patterns between pairs of courses within academic programs.

연구 동기 및 목표

• 보다 빠른 졸업과 학업 성공 달성을 위해 개선된 성적 예측을 통해 도전 과제를 해결하기 위해.
• 정적 학생 및 과목 임bedding을 넘어서 과거 과목이 미래 성과에 미치는 동적 영향을 모델링하기 위해.
• 더 정확한 다음 학기 성적 예측을 위해 시간적 영향과 과목별 영향을 행렬 분해에 통합하기 위해.
• 학문 프로그램의 구조와 과목 내용 의존성에 반영된 해석 가능한 과목 영향 패턴을 밝혀내기 위해.
• 데이터 기반 인사이트를 통해 개인화된 학업 상담 및 학위 계획 수립을 지원하기 위해.

제안 방법

• MFTCI 모델은 학생과 과목을 공통 잠재 '지식' 공간에 표현하기 위해 행렬 분해를 사용하며, 성적은 그들의 잠재 벡터의 내적 곱으로 예측된다.
• 이 모델은 이전에 수강한 과목이 후속 과목에서 학생의 성과에 미치는 영향을 캡처하기 위해 과목별 영향 행렬 A를 도입한다.
• 시간적 영향은 다수의 이전 학기 동안의 학생 성과를 포함시켜 모델링되며, 실험 결과 두 번째 이전 학기 정보가 가장 유용함을 확인했다.
• 모델은 학생 요소(U, V), 영향 행렬(A), 시간 성분(Z1, Z2, U1, U2)을 갱신하기 위해 교차 최적화와 경사 하강법을 사용한다.
• 시간 성분 Z1은 특이값 분해(SVD)를 사용하여 계산되며, 추가적인 잠재 행렬(U1, U2)은 학생 성과의 시간에 따른 이동을 모델링한다.
• 모델은 조지 메이슨 대학교(2009년 가을학기부터 2016년 봄학기까지)의 역사적 학생 기록을 기반으로 훈련되었으며, 6개 전공을 포함하고 있으며 이중 전공 이수자와 비전공 이수자 모두 포함된다.

실험 결과

연구 질문

• RQ1 표준 행렬 분해 대비 과목별 영향을 통합함으로써 다음 학기 성적 예측 정확도가 어떻게 향상되는가?
• RQ2 학생 성과에 대한 시간적 영향을 모델링하기 위해 고려할 최적의 이전 학기 수는 얼마인가?
• RQ3 학습된 과목 영향 패턴이 실제 학문 프로그램의 구조와 과목 내용 의존성과 일치하는가?
• RQ4 시간적 영향과 과목별 영향이 함께 예측 성능에 어떤 영향을 미치는가?
• RQ5 모델은 과목 카탈로그에 명시되어 있지 않은 의미 있는 선수과목 유사 관계를 식별할 수 있는가?

주요 결과

• MFTCI 모델은 평가된 모든 데이터셋에서 여러 최신 기준 모델들을 뛰어넘는 성능을 보이며 다음 학기 성적 예측에서 뚜렷한 승리를 거두었다.
• 모델은 시간적 동적 변화와 과목별 영향을 모두 통합함으로써 성능 향상을 이룩했으며, 특히 과목별 영향이 예측 정확도에 상당한 기여를 했다.
• 컴퓨터 과학(CS) 전공과 응용정보기술(AIT) 전공에서 각각 17개와 13개의 과목 영향 관계를 식별했으며, 이는 공식 학문 프로그램 가이드맵과 일치했다.
• MFTCI가 학습한 과목 영향 패턴은 실제 과목 내용과 강하게 연관되어 있으며, 예를 들어 '멀티미디어 및 웹 디자인' 과목이 '응용 IT 프로그래밍'과 '글로벌 경제 속의 IT' 과목에 영향을 미친다.
• 두 번째 이전 학기 정보를 고려할 경우 예측 성능이 최고로 높아지며, 이는 학생 학습 진행 과정에서 강한 시간적 의존성이 있음을 시사한다.
• 과목 영향 행렬의 시각화 결과, 생물학(BIOL), 공학(CEIE), 전자공학(CPE), 심리학(PSYC) 등 여러 전공에서 이해할 수 있는 내용 기반의 관계가 드러났다.