[논문 리뷰] Time-Series Insights into the Process of Passing or Failing Online University Courses Using Neural-Induced Interpretable Student States.

Byungsoo Jeon, Eyal Shafran외 3명|arXiv (Cornell University)|2019. 05. 01.

Online Learning and Analytics인용 수 1

한 줄 요약

이 논문은 온라인 수업에서 학생의 실패를 예측하기 위해 클릭스트림 데이터와 인간 멘토가 기록한 텍스트 노트를 통합하여 설명 가능한, 변화하는 학생 상태 표현을 생성하는 시계열 모델을 제안한다. 멘토 노트에서 유래한 자연어 신호를 통합함으로써, 학생 참여 궤적의 예측 정확도와 해석 가능성 모두 향상된다.

ABSTRACT

This paper addresses a key challenge in Educational Data Mining, namely to model student behavioral trajectories in order to provide a means for identifying students most at-risk, with the goal of providing supportive interventions. While many forms of data including clickstream data or data from sensors have been used extensively in time series models for such purposes, in this paper we explore the use of textual data, which is sometimes available in the records of students at large, online universities. We propose a time series model that constructs an evolving student state representation using both clickstream data and a signal extracted from the textual notes recorded by human mentors assigned to each student. We explore how the addition of this textual data improves both the predictive power of student states for the purpose of identifying students at risk for course failure as well as for providing interpretable insights about student course engagement processes.

연구 동기 및 목표

• 온라인 대학 수업에서 행동 데이터의 시계열 모델링을 통해 위험에 처한 학생을 식별하는 데 도전하는 것.
• 특히 멘토가 기록한 노트와 같은 텍스트 데이터가 클릭스트림 데이터와 함께 학생 상태 모델링에 보완적인 신호로 기여할 잠재력을 탐색하는 것.
• 학업 실패 예측 능력을 향상시키면서도 학생 참여 패턴의 해석 가능성을 높이는 학생 상태 표현의 개선.
• 조기 학업 간병을 위한 실질적이고 해석 가능한 통찰을 제공하는 것.

제안 방법

• 모델은 인간 멘토가 작성한 텍스트 노트의 임베딩과 클릭스트림 데이터를 융합하여 동적 학생 상태 표현을 구성한다.
• 텍스트 노트는 자연어 처리(NLP) 기법을 사용해 처리되어 의미 신호를 추출하며, 이는 클릭스트림 특징과 동일한 잠재 공간에 통합된다.
• 순환 신경망(RNN) 기반 아키텍처를 사용해 수업 기간 동안 학생 상태의 시간적 변화를 모델링한다.
• 예측에 영향을 주는 핵심 행동 및 텍스트 신호를 강조하기 위해 해석 가능한 어텐션 메커니즘을 적용한다.
• 모델은 종합적인 수업 성과(합격/불합격)를 예측하기 위해 엔드 투 엔드로 훈련되며, 기여 요소의 해석 가능성도 유지한다.
• 모델 성능 평가에는 AUC-ROC 및 정밀도-재현율과 같은 표준 지표를 사용하며, 텍스트 데이터의 영향을 분리하기 위해 추론 실험(ablation studies)를 실시한다.

실험 결과

연구 질문

• RQ1 멘토가 기록한 텍스트 노트를 통합할 경우, 온라인 수업에서 학생 상태 모델의 예측 정확도가 어떻게 향상되는가?
• RQ2 멘토의 텍스트 신호가 학생 참여 궤적의 해석 가능성에 어느 정도 기여하는가?
• RQ3 클릭스트림 활동과 텍스트 노트의 병합된 신호가 위험에 처한 학생을 식별하는 데 클릭스트림 전용 모델보다 얼마나 우수한가?
• RQ4 특정 텍스트 및 행동 패턴 중에서 수업 실패 또는 성공을 가장 잘 예측하는 것은 무엇인가?

주요 결과

• 멘토가 기록한 텍스트 노트를 포함시킴으로써 학생 상태 모델의 AUC-ROC 점수가 클릭스트림 전용 기준 모델보다 유의미하게 향상되었다.
• 특히 수업 초반 단계에서 최종적으로 실패한 학생을 식별하는 데 더 높은 정밀도를 기록했다.
• 해석 가능한 어텐션 메커니즘은 학생 이탈과 강하게 연관된 특정 멘토 노트와 클릭스트림 패턴을 부각시켰다.
• 텍스트 신호는 클릭스트림 데이터만으로는 포착할 수 없는 학생의 동기 및 참여도에 대한 의미 있는 맥락을 제공했으며, 예를 들어 혼란 또는 참여도 저하를 나타내는 표현이 포함되었다.