[논문 리뷰] GritNet 2: Real-Time Student Performance Prediction with Domain Adaptation.

Byung‐Hak Kim, Ethan Vizitei외 1명|arXiv (Cornell University)|2018. 09. 07.

Online Learning and Analytics참고 문헌 12인용 수 7

한 줄 요약

이 논문은 레이블이 없는 새로운 과정으로부터 레이블이 있는 과거 과정에서의 지식을 전이하기 위해 비지도 도메인 적응을 사용하는 실시간 학생 성과 예측 모델인 GritNet 2를 제안한다. 이 모델은 목표 과정에서 학생의 성과 레이블이 필요로 하지 않도록 사전 훈련된 GritNet 모델을 적응시켜 첫 몇 주 동안의 조기 예측 정확도를 향상시키며, 다양한 Nanodegree 프로그램 간에 강력한 일반화 성능을 달성한다.

ABSTRACT

Increasingly fast development and update cycle of online course contents, and diverse demographics of students in each online classroom, make student performance prediction in real-time (before the course finishes) an interesting topic for both industrial research and practical needs. In that, we tackle the problem of real-time student performance prediction with on-going courses in domain adaptation framework, which is a system trained on students' labeled outcome from one previous coursework but is meant to be deployed on another. In particular, we first review recently-developed GritNet architecture which is the current state of the art for student performance prediction problem, and introduce a new unsupervised domain adaptation method to transfer a GritNet trained on a past course to a new course without any (students' outcome) label. Our results for real Udacity students' graduation predictions show that the GritNet not only generalizes well from one course to another across different Nanodegree programs, but enhances real-time predictions explicitly in the first few weeks when accurate predictions are most challenging.

연구 동기 및 목표

• 빠르게 변화하는 컨텐츠와 다양한 학생 인구 통계를 가진 온라인 과정에서 실시간 학생 성과 예측의 과제를 해결하기 위해.
• 레이블이 있는 과거 과정에서의 학생 성과 예측 모델을 레이블이 전혀 없는 새로운 과정으로 효과적으로 전이하기 위해.
• 데이터가 제한된 첫 몇 주 동안 정확한 예측이 가장 어려운 중요한 초기 주에 정확도를 향상시키기 위해.

제안 방법

• 도메인 적응 프레임워크를 사용하여 최신 기술인 GritNet 아키텍처를 실시간 학생 성과 예측에 적응시키기 위해.
• 목표 도메인(새로운 과정)에서 레이블을 사용하지 않고도 소스(과거) 과정과 목표(새로운) 과정 간의 특징 분포를 정렬하기 위해 비지도 도메인 적응 방법을 적용하기 위해.
• 도메인 불변 표현을 사용하여 소스 과정의 레이블된 데이터에서 사전 훈련된 GritNet 모델을 미세조정한 후 목표 과정으로 전이하기 위해.
• 시간적 동적 특성과 초기 학생 행동 패턴을 활용하여 과정의 초반 주에 실시간 예측을 향상시키기 위해.
• 소스 도메인과 목표 도메인의 특징 간의 격차를 최소화하면서도 예측 성능를 유지하기 위해 도메인 적응 손실을 사용하기 위해.

실험 결과

연구 질문

• RQ1 레이블이 전혀 없는 목표 과정에서 성과 레이블이 없는 새로운 과정으로 학생 성과 예측 모델이 효과적으로 일반화될 수 있는가?
• RQ2 GritNet 2는 데이터가 제한된 과정의 첫 몇 주 동안 실시간 예측에서 얼마나 잘 수행되는가?
• RQ3 다른 Nanodegree 프로그램 간에 전이할 때 비지도 도메인 적응이 예측 정확도를 얼마나 향상시키는가?

주요 결과

• GritNet 2는 다양한 Nanodegree 프로그램 간에 잘 일반화되어 있으며, 소스 과정에서 목표 과정으로의 전이 능력이 뛰어나다.
• 모델은 정확한 예측이 가장 어려운 과정의 첫 몇 주 동안 실시간 예측을 크게 향상시킨다.
• 비지도 도메인 적응 접근법을 통해 목표 과정에서 레이블이 전혀 필요 없이 효과적인 지식 전이가 가능하다.
• 다른 과정 컨텐츠와 학생 인구 통계로 인한 도메인 이동에도 불구하고 모델은 높은 예측 성능를 유지한다.