[논문 리뷰] Predicting Academic Performance for College Students: A Campus Behavior Perspective

Huaxiu Yao, Defu Lian외 3명|arXiv (Cornell University)|2019. 03. 15.

Online Learning and Analytics참고 문헌 39인용 수 8

한 줄 요약

이 논문은 종단적 스마트 카드 데이터를 활용하여 대학생의 학업 성취도를 예측하는 다중 작업 학습-랭킹 프레임워크(MTLTR-APP)를 제안한다. 지각, 질서, 수면 패턴이 핵심 행동 예측 변수로 규명되었으며, 모델은 학기 간 및 전공 간 상관관계와 학생 유사성을 고려하여 성과 예측에서 최대 0.513의 슼머의 상관계수를 달성한다.

ABSTRACT

Detecting abnormal behaviors of students in time and providing personalized intervention and guidance at the early stage is important in educational management. Academic performance prediction is an important building block to enabling this pre-intervention and guidance. Most of the previous studies are based on questionnaire surveys and self-reports, which suffer from small sample size and social desirability bias. In this paper, we collect longitudinal behavioral data from 6,597 students' smart cards and propose three major types of discriminative behavioral factors, diligence, orderliness, and sleep patterns. Empirical analysis demonstrates these behavioral factors are strongly correlated with academic performance. Furthermore, motivated by social influence theory, we analyze the correlation between each student's academic performance with his/her behaviorally similar students'. Statistical tests indicate this correlation is significant. Based on these factors, we further build a multi-task predictive framework based on a learning-to-rank algorithm for academic performance prediction. This framework captures inter-semester correlation, inter-major correlation and integrates student similarity to predict students' academic performance. The experiments on a large-scale real-world dataset show the effectiveness of our methods for predicting academic performance and the effectiveness of proposed behavioral factors.

연구 동기 및 목표

• 자기 보고 데이터의 한계를 극복하기 위해 캠퍼스 스마트 카드에서 수집한 실제이고 비침습적인 행동 데이터를 활용하여 학업 성취도 예측 문제를 해결한다.
• 학업 성취도와 강하게 관련된 행동 요인인 지각, 질서, 수면 패턴을 규명하고 정량화한다.
• 다중 작업 학습 프레임워크를 활용해 학기 간 및 전공 간 학업 성취도 예측의 상호의존성을 모델링한다.
• 공동 존재 행동 기반의 학생 유사성 정보를 통합하여 예측 정확도를 향상시킨다.
• 조기 간병을 위한 확장 가능하고 실시간 예측 시스템을 개발한다.

제안 방법

• 거의 3년에 걸쳐 6,597명의 학생들이 도서관, 기숙사, 식당, 수업 건물에서 발생시킨 스마트 카드 거래 데이터로부터 종단적 행동 데이터를 수집한다.
• 지각은 수업 시간 동안 캠퍼스에 머무른 시간으로 정량화하고, 질서는 일상 루틴의 규칙성으로 정의하며, 수면 패턴은 첫 번째/마지재 카드 사용 시간으로 측정한다.
• 학기 간 시간적 상관관계를 순차적 스무딩 정규화를 통해 모델링하는 다중 작업 학습-랭킹 프레임워크(MTLTR-APP)를 적용한다.
• 관련된 학문 분야 간 공유 모델 파라미터를 통해 전공 간 상관관계를 통합한다.
• 공동 존재 패턴 기반의 학생 유사성 정규화 항목을 도입하여 일반화 능력과 예측 정확도를 향상시킨다.
• t-검정과 민감도 분 析를 활용해 모델 하이퍼파라미터를 최적화하여 최적의 정규화 계수(λs = 1.0, ξ ≈ 0.2)를 도출한다.

실험 결과

연구 질문

• RQ1 스마트 카드 데이터에서 추출한 지각, 질서, 수면 패턴은 학업 성취도와 어떻게 상관관계가 있는가?
• RQ2 유사한 행동 패턴을 보이는 학생들의 학업 성취도는 어느 정도 상관관계가 있으며, 이를 예측에 활용할 수 있는가?
• RQ3 다중 작업 학습-랭킹 프레임워크는 학기 간 및 전공 간 학업 성취도 예측의 상호의존성을 효과적으로 모델링할 수 있는가?
• RQ4 개별 또는 조합된 경우, 제안된 행동 요소들이 예측 능력에서 어떻게 비교되는가?
• RQ5 예측의 안정성과 정확도를 향상시키기 위해 정규화 항목의 최적 구성은 무엇인가?

주요 결과

• 지각 요소는 학기 간 전반적으로 -0.308의 강한 음의 스피어만 상관계수를 보이며, 더 높은 지각은 더 좋은 성적으로 연결됨을 시사한다.
• 질서와 수면 패턴을 포함시킴으로써 예측 성능이 향상되었으며, 모든 세 가지 요소를 포함한 최적 모델이 학기 5에서 0.513의 스피어만 상관계수를 달성했다.
• t-검정을 통해 행동이 유사한 동료 학생들의 성취도 간 유의미한 상관관계가 확인되었으며, 이는 학업 성과에 대한 사회적 영향 효과를 검증한다.
• 순차적 스무딩 정규화(λs = 1.0)는 학기 간 학업 성취도 추세를 포착함으로써 모델 성능을 크게 향상시켰다.
• 학업 성취도 유사성 정규화(ξ ≈ 0.2)는 예측 정확도를 향상시켜 동료 기반 모델링의 가치를 입증한다.
• MTLTR-APP 프레임워크는 기준 모델보다 뛰어난 성능을 보이며, 데이터가 적은 소규모 전공에서도 학기 및 전공 간에 걸쳐 안정성을 확보한다.