[논문 리뷰] Assessing the Performance of Online Students -- New Data, New Approaches, Improved Accuracy

Robin Schmucker, Jingbo Wang외 2명|arXiv (Cornell University)|2021. 09. 04.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 온라인 교육에서 학생 성취도 모델링을 위한 새로운 기계학습 접근법을 제안한다. 이는 풍부한 로그 데이터, 교육과정의 사전 요구 조건 구조, 그리고 다양한 학습 단계에 맞는 전문화된 모델을 활용한다. 응답 패턴, 힌트 사용량, 부드럽게 조정된 정확도 비율과 같은 새로운 특징을 도입함으로써, 네 개의 대규모 데이터셋에서 최신 기준 AUC 0.808을 달성하며 기존의 전통적인 로지스틱 회귀 모델과 딥러닝 방법을 모두 능가한다.

ABSTRACT

We consider the problem of assessing the changing performance levels of individual students as they go through online courses. This student performance (SP) modeling problem is a critical step for building adaptive online teaching systems. Specifically, we conduct a study of how to utilize various types and large amounts of student log data to train accurate machine learning (ML) models that predict the performance of future students. This study is the first to use four very large sets of student data made available recently from four distinct intelligent tutoring systems. Our results include a new ML approach that defines a new state of the art for logistic regression based SP modeling, improving over earlier methods in several ways: First, we achieve improved accuracy by introducing new features that can be easily computed from conventional question-response logs (e.g., the pattern in the student 's most recent answers). Second, we take advantage of features of the student history that go beyond question-response pairs (e.g., features such as which video segments the student watched, or skipped) as well as information about prerequisite structure in the curriculum. Third, we train multiple specialized SP models for different aspects of the curriculum (e.g., specializing in early versus later segments of the student history), then combine these specialized models to create a group prediction of the SP. Taken together, these innovations yield an average AUC score across these four datasets of 0.808 compared to the previous best logistic regression approach score of 0.767, and also outperforming state-of-the-art deep neural net approaches. Importantly, we observe consistent improvements from each of our three methodological innovations, in each dataset, suggesting that our methods are of general utility and likely to produce improvements for other online tutoring systems as well.

연구 동기 및 목표

• 대규모 로그 데이터를 활용하여 온라인 학습 환경에서의 학생 성취도 모델링 정확도를 향상시키는 것.
• 기본적인 오른/틀림 응답 이외의 다양한 학생 상호작용 특징이 예측 모델링에 어떻게 기여할 수 있는지 탐구하는 것.
• 교육과정의 사전 요구 조건 구조와 다양한 학습 단계에 맞는 전문화된 모델이 예측 정확도에 미치는 영향을 평가하는 것.
• 최근의 대규모 ITS 데이터셋을 사용하여 로지스틱 회귀 모델과 딥러닝 모델의 성능을 비교하는 것.
• 다양한 온라인 튜터링 시스템에 적용 가능한 일반화 가능한 학생 성취도 모델링 프레임워크를 수립하는 것.

제안 방법

• 학생 로그 데이터에서 유도된 새로운 특징을 도입한다. 이는 최근 정확도의 n-그램(응답 패턴), 힌트 사용 횟수 및 시간, 부드러운 평균 정확도 비율을 포함한다.
• 지식 요소 간의 사전 요구 조건 및 후행 요구 조건 관계와 같은 교육과정 배경 정보를 모델 예측에 통합한다.
• 학습의 다양한 단계(예: 수업 초반 vs. 후반)에 맞춰 복수의 전문화된 로지스틱 회귀 모델을 훈련하고, 그 출력을 조합하여 최종 예측을 도출한다.
• 힌트 수와 시간과 같은 특징은 크기 편향을 줄이기 위해 로그 스케일 함수 φ(x) = log(1 + x)를 사용해 변환한다.
• 조정된 평균 정확도 특징 rs = (cs + ηr̄)/(as + η)를 사용하며, η = 5로 설정하여 초기 학생 성취도 추정의 안정성을 높인다.
• 그리드 서치를 통해 초모델 하이퍼파rameter를 최적화하고, 100 에포크 이상에 걸쳐 훈련한 로지스틱 회귀 모델과 딥러닝 모델(DKT, SAKT, SAINT, SAINT+)을 평가한다.

실험 결과

연구 질문

• RQ1 응답 패턴, 힌트 사용, 작업 소요 시간과 같은 다양한 학생 상호작용 특징이 성취도 예측 정확도에 어떤 영향을 미치는가?
• RQ2 교육과정의 사전 요구 조건 구조를 통합할 경우 학생 성취도 모델링에 얼마나 기여하는가?
• RQ3 학습의 초기 단계와 복습 단계 등 다양한 단계에 맞춰 전문화된 모델을 훈련할 경우 전체 예측 성능 향상에 기여하는가?
• RQ4 제안된 방법은 기존의 최신 기술 수준의 접근법, 특히 딥러닝 모델과 비교해 정확도에서 어떤가?
• RQ5 관찰된 향상 효과가 다양한 온라인 튜터링 시스템과 데이터셋 간에서 일관되게 유지되는가?

주요 결과

• 제안된 방법은 네 개의 대규모이고 다양한 특성을 가진 데이터셋에서 평균 AUC 0.808을 달성하였으며, 이는 이전 최고의 로지스틱 회귀 접근법(AUC 0.767)을 크게 뛰어넘는 성과이다.
• 세 가지 핵심 혁신 요소—새로운 특징, 교육과정 구조 통합, 전문화된 모델—모두 네 개의 데이터셋 전반에서 일관된 정확도 향상을 가져왔다.
• 딥러닝 모델(DKT, SAKT, SAINT, SAINT+)과 비교해도 AUC 측면에서 제안된 방법이 뛰어나, 풍부한 특징을 갖춘 구조화된 로지스틱 회귀의 효과성을 입증한다.
• η = 5로 설정된 부드러운 평균 정확도 특징은 초기 학생 성취도 추정의 분산을 줄이고 모델 안정성을 향상시켰다.
• 응답 패턴 특징은 짧은 기간 동안의 성과 추세(예: 연속된 정답 또는 오답)를 탐지할 수 있게 해 예측 능력을 향상시켰다.
• 로그 스케일 적용된 힌트 특징(횟수 및 시간)은 극단적인 학생 행동 값의 영향을 완화함으로써 모델의 강건성을 향상시켰다.