[논문 리뷰] Towards Feature Engineering at Scale for Data from Massive Open Online Courses

Kalyan Veeramachaneni, Una-May O’Reilly외 1명|arXiv (Cornell University)|2014. 07. 20.

Online Learning and Analytics참고 문헌 5인용 수 35

한 줄 요약

이 논문은 MOOC 데이터의 학습자 중도 이탈 예측을 위해 인적 인사이트를 활용하여 다중 모odal 특징을 생성하는 인적 공유 기반의 확장 가능한 특징 공학 기법을 제안한다. 자가 설정한 특징보다 더 뛰어난 성능을 보이는 복잡한 다중 모달 특징을 생성한다. 주요 결과로는 특히 다중 상호작용 방식을 통합하는 관계형 및 종단형 특징이 다양한 학습자 참여 집단에서 예측 성능을 크게 향상시켰다.

ABSTRACT

We examine the process of engineering features for developing models that improve our understanding of learners' online behavior in MOOCs. Because feature engineering relies so heavily on human insight, we argue that extra effort should be made to engage the crowd for feature proposals and even their operationalization. We show two approaches where we have started to engage the crowd. We also show how features can be evaluated for their relevance in predictive accuracy. When we examined crowd-sourced features in the context of predicting stopout, not only were they nuanced, but they also considered more than one interaction mode between the learner and platform and how the learner was relatively performing. We were able to identify different influential features for stop out prediction that depended on whether a learner was in 1 of 4 cohorts defined by their level of engagement with the course discussion forum or wiki. This report is part of a compendium which considers different aspects of MOOC data science and stop out prediction.

연구 동기 및 목표

• MOOC 데이터 과학에서 인간의 인사이트가 핵심이지만 활용되지 않는 특징 공학의 도전 과제를 해결하기 위해.
• 연구자들이 단독으로 생성한 특징보다 인적 공유 기반의 특징 제안이 더 예측력 있고 세밀한 특징을 도출할 수 있는지 탐색하기 위해.
• 특히 복잡한 관계형 및 종단형 특징과 같은 다양한 특징 유형이 학습자 참여 집단 간 중도 이탈 예측에 미치는 영향을 평가하기 위해.
• 표준화된 데이터 스키마를 사용하여 다양한 MOOC 플랫폼 간 특징 생성 및 공유를 위한 확장 가능하고 재사용 가능한 프레임워크를 개발하기 위해.
• 상대적 성과 및 다중 상호작용 방식(예: 영상, 포럼, 제출물)을 통합한 특징이 고립된 지표보다 더 예측력이 높다는 것을 입증하기 위해.

제안 방법

• 전문가, 강사, 학생, 연구자로부터 다양한 인간 기반 특징 아이디어를 수집하기 위해 웹 기반 플랫폼을 통한 특징 제안의 인적 공유를 수행한다.
• 다양한 MOOC 플랫폼(예: edX, Coursera) 간 특징 생성 스크립트의 재사용을 가능하게 하기 위해 표준화된 데이터 스키마를 설계한다.
• 영상 참여, 포럼 활동, 과제 제출, 동료 상호작용 등의 다중 상호작용 방식 데이터를 조합하여 관계형 특징을 생성한다.
• 학습자 행동을 시간에 따라 추적하는 종단형 특징을 생성하며, 상대적 성과 지표(예: 동료 대비 학습자 성과)를 포함한다.
• 예측 모델링을 통한 특징 관련성 평가: 지도 학습 기반의 중도 이탈 예측 모델을 구축하고, 정확도 및 특징 중요도를 성능 측정 지표로 사용한다.
• 포럼 및 위키 참여도에 따라 학습자를 네 가지 참여 집단(예: 수동 협업자, 포럼 참여자 등)으로 분류하여 집단별 특징 관련성 및 모델 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 MOOC에서 인적 공유 기반 특징 제안은 연구자들이 자체적으로 생성한 특징보다 학습자 중도 이탈 예측에 더 뛰어난 성능을 내는가?
• RQ2 포럼 및 위키 참여도에 따라 정의된 다양한 학습자 참여 집단 간에 가장 영향력 있는 특징은 어떻게 다를까?
• RQ3 영상, 제출물, 협업 행동을 통합하는 복잡한 다중 모달 특징은 단순한 고립 지표에 비해 예측 정확도를 얼마나 향상시키는가?
• RQ4 관계형 특징(예: 동료 대비 성과)은 다양한 학습자 유형 간 중도 이탈 예측에 어떻게 기여하는가?
• RQ5 표준화된 특징 생성 스크립트가 다양한 MOOC 플랫폼 및 데이터 스키마 간에 얼마나 재사용 가능한가?

주요 결과

• 모든 네 개의 참여 집단에서 인적 공유 기반 특징이 연구자 자가 제안 및 추출한 특징보다 학습자 중도 이탈 예측 성능에서 뚜렷한 우월성을 보였다.
• 다른 집단에는 다른 특징 조합이 가장 예측력이 있었으며, 예를 들어 수동 협업자 집단에서는 과제 성공률과 마감일 이전 제출 시점이 핵심 특징이었고, 협업 학습자 집단에서는 실험실 점수 추세가 중요했다.
• 포럼만 사용하는 학습자 집단에서는 포럼 게시글의 길이가 중도 이탈 예측에 강력한 예측 지표로 나타났으며, 이는 콘텐츠의 깊이가 행동 신호로 작용할 수 있음을 시사한다.
• 가장 영향력 있는 특징은 다중 상호작용 방식(예: 영상, 제출물, 포럼)의 데이터를 통합하고 동료와의 비교를 반영한 복잡하고 파생된 특징이었다.
• 관계형 및 통계적 요약 특징(예: 상대적 성과, 시간 경과에 따른 추세)은 단순한 수량 또는 지속시간보다 일관되게 더 뛰어난 예측력을 보였다.
• 표준화되고 재사용 가능한 특징 공학 프레임워크의 실현 가능성과 가치를 입증하였으며, edX 및 Coursera와 같은 플랫폼에서 이미 스크립트가 테스트된 바 있다.