[論文レビュー] MORF: A Framework for MOOC Predictive Modeling and Replication At Scale.

Josh Gardner, Christopher Brooks+2 more|arXiv (Cornell University)|Jan 16, 2018

Software System Performance and Reliability被引用数 5

ひとこと要約

MORFは、MOOCにおける学生の退学予測モデルの構築および再現を可能にするスケーラブルでプライバシー保護対応のフレームワークです。研究者が直接データにアクセスせずに、安全でコンテナ化されたワークフローを通じて大規模かつ多施設にまたがるデータ上でモデルを訓練および評価でき、大規模なスケールでの再現可能性とデータセキュリティを確保します。

ABSTRACT

The MOOC Replication Framework (MORF) is a novel software system for feature extraction, model training/testing, and evaluation of predictive dropout models in Massive Open Online Courses (MOOCs). MORF makes large-scale replication of complex machine-learned models tractable and accessible for researchers, and enables public research on privacy-protected data. It does so by focusing on the high-level operations of an extract-train-test-evaluate workflow, and enables researchers to encapsulate their implementations in portable, fully reproducible software containers which are executed on data with a known schema. MORF's workflow allows researchers to use data in analysis without providing them access to the underlying data directly, preserving privacy and data security. During execution, containers are sandboxed for security and data leakage and parallelized for efficiency, allowing researchers to create and test new models rapidly, on large-scale multi-institutional datasets that were previously inaccessible to most researchers. MORF is provided both as a Python API (the MORF Software), for institutions to use on their own MOOC data) or in a platform-as-a-service (PaaS) model with a web API and a high-performance computing environment (the MORF Platform).

研究の動機と目的

• 異なる機関間で複雑な機械学習モデルをMOOCの退学予測に再現する課題に対処すること。
• 研究者が生のデータに直接アクセスせずに、大規模かつ多施設にまたがるMOOCデータ上でモデルを構築およびテストできるようにすること。
• セキュアなサンドボックス環境でコンテナ化された実行環境を用いて、モデルの再現可能性とデータプライバシーを確保すること。
• 教育データサイエンティスティックスにおける抽出・訓練・テスト・評価のパイプラインを簡素化すること。
• 広範なアクセス性を実現するため、ソフトウェアライブラリ（MORF Software）とプラットフォーム・ツー・サービス（MORF Platform）の両方を提供すること。

提案手法

• MORFは、MOOC予測モデリングのための標準化された抽出・訓練・テスト・評価ワークフローを実装しています。
• モデル実装をポータブルで完全に再現可能なソフトウェアコンテナにカプセル化しています。
• データは、下位の生のデータが直接露出されない、既知のスキーマを介してのみアクセスされます。
• 実行中はコンテナがサンドボックス化されており、データ漏洩の防止とセキュリティの強化が図られています。
• 大規模なデータセットでの高速処理を実現するため、並列実行をサポートしています。
• ローカルデプロイ用のPython APIと、Web APIおよびハイパフォーマンスコンピューティングを備えたPaaSの両方を提供しています。

実験結果

リサーチクエスチョン

• RQ1 標準化されたフレームワークは、異なる機関間でMOOC退学予測モデルのスケーラブルかつ安全な再現を可能にできるか？
• RQ2 研究者が生のデータに直接アクセスせずに、大規模かつ多施設にまたがるMOOCデータ上でモデルを効果的に訓練および評価できるか？
• RQ3 MORFは教育データサイエンティスティックスにおける予測モデリングの再現可能性とプライバシーをどの程度確保できるか？
• RQ4 コンテナ化されサンドボックス化された実行モデルは、計算効率を維持しながらも、データ漏洩をどの程度効果的に防止できるか？
• RQ5 MORFのアーキテクチャは、非専門家研究者にとっての大規模MOOCモデリングのアクセス性と使いやすさにどのような影響を与えるか？

主な発見

• MORFは、生のデータに直接アクセスせずに大規模かつ多施設にまたがるMOOCデータ上で予測モデルを構築およびテストでき、プライバシーを保護します。
• フレームワークは、モデリングパイプラインのすべてのコンponentをカプセル化した標準化されたコンテナ化実装により、モデルの再現可能性を確保します。
• サンドボックス化された実行により、モデルの訓練および評価中にデータ漏洩が防止され、セキュリティが強化されます。
• 並列処理が可能であるため、大規模データセットの効率的処理が可能となり、モデル開発における所要時間の大幅な短縮が実現されます。
• Python APIとPaaSモデルの両方の提供により、技術的・計算リソースが異なる研究者へのアクセス性が向上します。
• MORFは、プライバシー保護されたデータを用いた公開研究を支援し、教育データサイエンティスティックスにおける協働と透明性を促進します。