[논문 리뷰] MOOCdb: Developing Standards and Systems to Support MOOC Data Science

Kalyan Veeramachaneni, Sherif Halawa외 4명|arXiv (Cornell University)|2014. 06. 08.

Online Learning and Analytics참고 문헌 6인용 수 23

한 줄 요약

MOOCdb는 원시 데이터 공유 없이도 다중 플랫폼 간, 다중 강의 간 연구 협업을 가능하게 하는 표준화되고 확장 가능한 MOOC 데이터 과학을 위한 데이터베이스 스키마를 제안한다. 공통 스키마를 통한 데이터 정렬과 Python, MATLAB, R 등의 스크립트 기반 분석을 촉진함으로써, edX와 Coursera와 같은 플랫폼 간에 일관된 행동 데이터 추출, 시각화, 모델링을 가능하게 하여 데이터 준비 과정의 부담을 크게 줄이고 재현 가능하며 개인정보 보호에 유리한 연구를 가능하게 한다.

ABSTRACT

We present a shared data model for enabling data science in Massive Open Online Courses (MOOCs). The model captures students interactions with the online platform. The data model is platform agnostic and is based on some basic core actions that students take on an online learning platform. Students usually interact with the platform in four different modes: Observing, Submitting, Collaborating and giving feedback. In observing mode students are simply browsing the online platform, watching videos, reading material, reading book or watching forums. In submitting mode, students submit information to the platform. This includes submissions towards quizzes, homeworks, or any assessment modules. In collaborating mode students interact with other students or instructors on forums, collaboratively editing wiki or chatting on google hangout or other hangout venues. With this basic definitions of activities, and a data model to store events pertaining to these activities, we then create a common terminology to map Coursera and edX data into this shared data model. This shared data model called MOOCdb becomes the foundation for a number of collaborative frameworks that enable progress in data science without the need to share the data.

연구 동기 및 목표

• 현재 연구자 작업의 약 ~70%를 차지하는 MOOC 데이터 과학에서의 비표준적 데이터 수집 및 특징 공학의 높은 부담을 해소하기 위해.
• 다양한 MOOC 플랫폼(예: edX, Coursera)과 여러 강의의 다양한 용도를 지원하는 통합적이고 확장 가능한 데이터 스키마를 구축하기 위해.
• 데이터 표현 및 분석 워크플로우의 표준화를 통해 기관 간 및 플랫폼 간 협업을 가능하게 하기 위해.
• 원시 데이터 교환 대신 스크립트 공유를 촉진함으로써 개인정보 유출 위험을 완화하고, 데이터 익명화 및 접근 제어를 지원하기 위해.
• 다시 사용 가능한 분석 도구, 시각화 기법, 특징 추출 방법을 공동으로 관리할 수 있는 커뮤니티 기반 프레임워크를 구축하기 위해 — 저자들이 이를 "특징 공장(featu re foundry)"이라 부른다.

제안 방법

• 관찰, 제출, 협업, 피드백의 네 가지 모드를 포함한 데이터 스키마를 설계하여 MOOC 상호작용의 각기 다른 측면을 포괄한다.
• 표준화된 데이터베이스 스키마(그림 17)를 정의하여 사용자, 강의, 자원, 상호작용, 메타데이터 등의 정규화된 테이블을 제공하며, 데이터 분할 및 익명화를 지원한다(표 11).
• SQL 쿼리와 연동되는 Python, MATLAB, R로 구현된 플랫폼 독립적 분석 스크립트를 개발하여 스키마 준수 데이터베이스에서 데이터를 추출한다.
• MOOC En Images 프레임워크를 구현하여 분석가가 시간, 학생 코hort, 위치 등의 기준에 따라 통계(예: 평균 제출 수)를 정의할 수 있도록 한다(그림 13–14).
• d3js, Google Charts 등의 인기 있는 시각화 라이브러리와 통합하여 스키마 기반 데이터에서 상호작용 가능한 시각화를 생성한다.
• 베이지안 지식 추적 및 항목 반응 이론과 같은 표준 연구 워크플로우에 적합한 CSV 파일을 생성하기 위한 데이터 내보내기 도구를 구축한다.

실험 결과

연구 질문

• RQ1 표준화된 데이터 스키마는 MOOC 연구에서 데이터 준비 및 특징 공학에 소요되는 시간과 노력을 얼마나 줄일 수 있는가?
• RQ2 원시 개인 정보 데이터를 공유하지 않고서도 다중 플랫폼 간 MOOC 데이터 분석은 어느 정도 가능해지는가?
• RQ3 공통 스키마와 스크립트 기반 분석 프레임워크는 다양한 MOOC 플랫폼과 강의 간에 재현 가능하고 비교 가능한 결과를 지원할 수 있는가?
• RQ4 연구자들은 통합적이고 확장 가능한 데이터 모델을 통해 효율적으로 MOOC 행동 데이터를 추출, 시각화, 모델링할 수 있는가?
• RQ5 MOOC 데이터 과학에서 재사용 가능한 특징과 분석 파ipelines를 장기적으로 공동으로 관리하기 위한 메커니즘은 무엇인가?

주요 결과

• MOOCdb 스키마는 edX와 Coursera를 포함한 여러 MOOC 플랫폼 간 일관된 데이터 모델링을 가능하게 하였으며, 6.002x 사례 연구를 통해 이를 입증하였다.
• MOOC En Images 프레임워크는 국가 수준의 평균 과제 제출 비율을 성공적으로 시각화하여 몽골에서의 높은 참여도를 드러내었으며, 이는 스키마가 다국가 분석에 실용적임을 보여주었다.
• 스크립트 기반 분석(예: 그림 15–16의 Python 및 MATLAB 코드 스니펫)을 통해 연구자들이 직접 SQL 지식 없이도 스키마 준수 데이터베이스를 쿼리할 수 있어 접근성이 향상되었다.
• 프레임워크는 Bayesian knowledge tracing과 item response theory와 같은 표준 연구 워크플로우에 적합한 CSV 형식으로 데이터 내보내기를 지원한다.
• 연구자들이 특징과 결과를 재현하기 위해 필요한 논리(스크립트)만 공유함으로써 원시 데이터 공유에 의존하는 것을 줄여 개인정보 보호와 재현 가능성을 향상시켰다.
• 이 프로젝트는 Stanford, Coursera, edX 소속 협력자들 사이에서 이미 인기를 끌었으며, 커뮤니티 피드백과 플랫폼 특화 요구사항에 기반해 스키마가 반복적으로 개선되고 있다.