[논문 리뷰] Analyzing Student Strategies In Blended Courses Using Clickstream Data

Nil-Jana Akpinar, Aaditya Ramdas외 1명|arXiv (Cornell University)|2020. 05. 31.

Online Learning and Analytics참고 문헌 26인용 수 4

한 줄 요약

이 논문은 혼합 수업에서의 세밀한 클릭스트림 데이터를 분석하기 위해 하이브리드 NLP 접근법을 제안하며, 과제와 시험 준비를 위한 학생들의 차별화된 전략을 드러낸다. 학습 세션 수, 클릭 빈도, 출석 여부 등의 특징은 MOOC보다 데이터가 적고 구조가 덜 뚜렷한 혼합 수업 환경에서도 성과 예측에 안정적으로 기여함을 입증한다.

ABSTRACT

Educational software data promises unique insights into students' study behaviors and drivers of success. While much work has been dedicated to performance prediction in massive open online courses, it is unclear if the same methods can be applied to blended courses and a deeper understanding of student strategies is often missing. We use pattern mining and models borrowed from Natural Language Processing (NLP) to understand student interactions and extract frequent strategies from a blended college course. Fine-grained clickstream data is collected through Diderot, a non-commercial educational support system that spans a wide range of functionalities. We find that interaction patterns differ considerably based on the assessment type students are preparing for, and many of the extracted features can be used for reliable performance prediction. Our results suggest that the proposed hybrid NLP methods can provide valuable insights even in the low-data setting of blended courses given enough data granularity.

연구 동기 및 목표

• 혼합 수업에서 학생들이 교육 소프트웨어와 어떻게 상호작용하는지, 특히 그들의 학습 전략을 이해하기 위해.
• MOOC보다 데이터가 적고 구조가 덜 뚜렷한 혼합 수업 환경에서 성과 예측의 격차를 해소하기 위해.
• 저데이터 클릭스트림 로그에서 의미 있고 해석 가능한 학생 전략을 추출하기 위한 새로운 방법을 개발하고 검증하기 위해.
• 평가 유형(과제 대비 시험)에 따라 전략이 어떻게 다를지 및 학업 성과 예측 능력에 대해 조사하기 위해.
• 맥락 인식형, 행동 기반 특징을 활용해 교사와 조기 경고 시스템 설계에 실질적인 통찰을 제공하기 위해.

제안 방법

• 비상업적 교육 지원 시스템인 Diderot에서 수집한 원시 클릭스트림 데이터를 학생 상호작용을 나타내는 행동 시퀀스로 전처리한다.
• 반복적인 학생 행동 패턴을 '전략'으로 식별하기 위해 토픽 모델링(예: 은닉 디리클레 분포)을 적용한다.
• 순서적이고 의미적인 관계를 포착하기 위해 스위프-그램 신경망 모델을 사용해 학생 행동의 문맥 기반 임베딩을 학습한다.
• 패턴 마이닝과 NLP 기법을 융합하여 세밀한 상호작용 로그에서 빈번하고 의미 있는 전략을 추출한다.
• 학습 세션 수, 클릭 빈도, 출석 여부 등의 파생 특징을 트리 기반 앙상블 모델에 통합하여 성과 예측을 수행한다.
• 모델 출력을 해석하고 모델의 해석 가능성을 향상시키기 위해 부분적 의존도 플롯과 특징 중요도 점수를 활용한다.

실험 결과

연구 질문

• RQ1 학생들은 과정 자료와 어떻게 상호작용하며, 자주 사용하는 전략은 무엇인가?
• RQ2 과제 준비와 시험 준비 시 학생들의 전략은 어떻게 다를까?
• RQ3 학생의 상호작용 패턴과 전략은 학업 성과 결과를 예측할 수 있는가?
• RQ4 하이브리드 NLP 기법은 저데이터, 혼합 수업 클릭스트림 데이터에서 이해 가능한 전략을 효과적으로 추출할 수 있는가?
• RQ5 혼합 학습 환경에서 높은 성과를 보이는 데 가장 유의미한 행동 특징는 무엇인가?

주요 결과

• 마감일과 시험을 앞두고 학생들의 활동이 증가하며, 특히 시험 준비 시 강의 노트 복습 비중이 과제 해결보다 더 높다.
• 학생들은 강의 노트나 연습 시험 자료보다 과제에 대해 더 많은 질문을 던지며, 이는 과제 내용에 집중된 참여를 시사한다.
• 강의와 리시티네이션에 참석한 학생들은 평균 점수가 유의미하게 높으며(과제 기준 76.58% 대비 55.86%), 출석 여부가 성과 예측에 강력한 지표임을 입증한다.
• 학습 세션 수, 총 클릭 수, 과제 전용 콘텐츠와의 참여도는 과제 성적 예측에 강력한 예측 변수로 기능한다.
• LDA와 같은 토픽 모델은 전통적인 패턴 마이닝과 유사한 전략을 회복하지만, 스위프-그램 모델은 중간 수준의 데이터로도 유의미한 맥락 기반 표현을 제공한다.
• 트리 기반 앙상블 모델은 특징 중요도와 부분적 의존도 플롯을 통해 높은 해석 가능성을 제공하여 고위험 조기 경고 시스템에 적합하다.