[논문 리뷰] MORF: A Framework for MOOC Predictive Modeling and Replication At Scale.

Josh Gardner, Christopher Brooks외 2명|arXiv (Cornell University)|2018. 01. 16.

Software System Performance and Reliability인용 수 5

한 줄 요약

MORF는 MOOC에서 학생 이탈 예측 모델을 구축하고 복제하기 위한 확장 가능하고 개인정보 보호 기능을 갖춘 프레임워크입니다. 연구자들이 직접 데이터에 접근하지 않고도 대규모 다중 기관 데이터를 기반으로 모델을 훈련하고 평가할 수 있도록 보장하며, 보안이 확보된 컨테이너 기반 워크플로우를 통해 재현 가능성을 확보하고 대규모 데이터 보안을 확보합니다.

ABSTRACT

The MOOC Replication Framework (MORF) is a novel software system for feature extraction, model training/testing, and evaluation of predictive dropout models in Massive Open Online Courses (MOOCs). MORF makes large-scale replication of complex machine-learned models tractable and accessible for researchers, and enables public research on privacy-protected data. It does so by focusing on the high-level operations of an extract-train-test-evaluate workflow, and enables researchers to encapsulate their implementations in portable, fully reproducible software containers which are executed on data with a known schema. MORF's workflow allows researchers to use data in analysis without providing them access to the underlying data directly, preserving privacy and data security. During execution, containers are sandboxed for security and data leakage and parallelized for efficiency, allowing researchers to create and test new models rapidly, on large-scale multi-institutional datasets that were previously inaccessible to most researchers. MORF is provided both as a Python API (the MORF Software), for institutions to use on their own MOOC data) or in a platform-as-a-service (PaaS) model with a web API and a high-performance computing environment (the MORF Platform).

연구 동기 및 목표

• 다양한 기관 간에 복잡한 기계학습 모델을 통한 MOOC 이탈 예측 모델의 재현 문제를 해결하기 위해.
• 연구자들이 원시 데이터에 직접 접근하지 않고도 대규모 다중 기관 MOOC 데이터를 기반으로 모델을 구축하고 테스트할 수 있도록 하기 위해.
• 모델의 재현 가능성과 데이터 프라이버시를 보장하기 위해 사전에 격리된 컨테이너 기반 실행 환경을 제공하기 위해.
• 예측 모델링을 위한 추출-훈련-테스트-평가 워크플로우를 단순화하기 위해.
• 비전공자 연구자들도 접근할 수 있도록 소프트웨어 라이브러리(MORF 소프트웨어)와 플랫폼형 서비스(MORF 플랫폼)를 제공하기 위해.

제안 방법

• MORF는 MOOC 예측 모델링을 위한 표준화된 추출-훈련-테스트-평가 워크플로우를 구현합니다.
• 모델의 구현을 이식 가능하고 완전히 재현 가능한 소프트웨어 컨테이너에 봉인합니다.
• 데이터는 원시 데이터에 직접 노출되지 않고 알려진 스키마를 통해만 액세스됩니다.
• 실행 중인 동안 컨테이너는 격리된 환경에서 실행되어 데이터 泄露를 방지하고 보안을 확보합니다.
• 대규모 데이터셋에서 높은 성능을 내기 위해 병렬 실행을 지원합니다.
• 로컬 배포를 위한 파이썬 API와 웹 API 및 고성능 컴퓨팅을 갖춘 PaaS를 제공하여 보다 넓은 접근성을 확보합니다.

실험 결과

연구 질문

• RQ1 표준화된 프레임워크가 다양한 기관 간에 MOOC 이탈 예측 모델의 확장 가능하고 안전한 재현을 가능하게 할 수 있는가?
• RQ2 연구자들이 원시 데이터에 직접 접근하지 않고도 대규모 다중 기관 MOOC 데이터를 기반으로 모델을 효과적으로 훈련하고 평가할 수 있는가?
• RQ3 MORF가 교육 데이터 과학의 예측 모델링에서 재현 가능성과 프라이버시를 어느 정도 보장하는가?
• RQ4 컨테이너 기반의 격리된 실행 모델이 계산 효율성을 유지하면서도 데이터 泄露를 방지하는 데 얼마나 효과적인가?
• RQ5 MORF의 아키텍처가 비전문가 연구자들이 대규모 MOOC 모델링에 접근하고 사용하는 데 어떤 영향을 미치는가?

주요 결과

• MORF는 원시 데이터에 직접 접근하지 않고도 대규모 다중 기관 MOOC 데이터를 기반으로 예측 모델을 구축하고 테스트할 수 있도록 하여 개인정보 보호를 유지합니다.
• 모델의 재현 가능성을 보장하기 위해 모든 모델링 워크플로우 구성 요소를 봉인한 표준화된 컨테이너 기반 구현 방식을 제공합니다.
• 격리된 환경에서의 실행을 통해 데이터 泄露를 방지하고 모델 훈련 및 평가 중 보안성을 강화합니다.
• 병렬 처리를 통해 대규모 데이터셋을 효율적으로 처리할 수 있어 모델 개발의 결과 도출 시간을 크게 단축시킵니다.
• 파이썬 API와 PaaS 모델을 함께 제공함으로써 다양한 기술적 및 계산 자원을 가진 연구자들의 접근성을 높입니다.
• MORF는 개인정보 보호가 보장된 데이터를 기반으로 한 공개 연구를 지원하여 교육 데이터 과학 분야의 협업과 투명성을 촉진합니다.