[論文レビュー] MOOCdb: Developing Standards and Systems to Support MOOC Data Science

Kalyan Veeramachaneni, Sherif Halawa+4 more|arXiv (Cornell University)|Jun 8, 2014

Online Learning and Analytics参考文献 6被引用数 23

ひとこと要約

MOOCdb は、MOOC データ科学のための標準的で拡張可能なデータベーススキーマを提案し、生データの共有を避けながら、複数プラットフォームやコースをまたいで研究を共同で行えるようにする。共通のスキーマによるデータ整理と、Python や MATLAB、R でのスクリプトベースの分析を推奨することで、edX や Coursera などのプラットフォーム間で一貫した行動データの抽出・可視化・モデリングが可能となり、データ準備の負荷を著しく低減し、再現可能でプライバシーを守る研究を実現する。

ABSTRACT

We present a shared data model for enabling data science in Massive Open Online Courses (MOOCs). The model captures students interactions with the online platform. The data model is platform agnostic and is based on some basic core actions that students take on an online learning platform. Students usually interact with the platform in four different modes: Observing, Submitting, Collaborating and giving feedback. In observing mode students are simply browsing the online platform, watching videos, reading material, reading book or watching forums. In submitting mode, students submit information to the platform. This includes submissions towards quizzes, homeworks, or any assessment modules. In collaborating mode students interact with other students or instructors on forums, collaboratively editing wiki or chatting on google hangout or other hangout venues. With this basic definitions of activities, and a data model to store events pertaining to these activities, we then create a common terminology to map Coursera and edX data into this shared data model. This shared data model called MOOCdb becomes the foundation for a number of collaborative frameworks that enable progress in data science without the need to share the data.

研究の動機と目的

• 現在、研究者の作業の約 70% を占めている、MOOC データ科学におけるアドホックなデータ収集および特徴工学の高コストな作業を軽減すること。
• 複数の MOOC プラットフォーム（例：edX、Coursera）と複数のコースをカバーできる、統一的で拡張可能なデータスキーマを構築すること。
• データ表現とアナリティクスワークフローの標準化を通じて、機関間およびプラットフォーム間の共同研究を可能にすること。
• 生データのやり取りではなくスクリプトの共有を推奨することで、プライバシーリスクを低減するとともに、データの脱識別化とアクセス制御を支援すること。
• 再利用可能なアナリティクスツール、可視化、特徴抽出のためのコミュニティ主導のフレームワークを確立すること。著者らがこれを「『特徴の工場』（feature foundry）」と呼ぶ。

提案手法

• 観察モード、提出モード、協働モード、フィードバックモードという4つのモードを持つデータスキーマを設計し、MOOC インタラクションの異なる側面を捉える。
• 図 17 に示す標準化されたデータベーススキーマ（正規化されたユーザー、コース、リソース、インタラクション、メタデータのテーブル）を定義し、データパーティショニングと脱識別化をサポート（表 11）。
• SQL クエリにアクセスする Python、MATLAB、R でのプラットフォームに依存しないアナリティクススクリプトを開発。
• アナリストが時間、学生のコhort、場所に沿ったカットに沿って統計（例：平均提出数）を定義できる MOOC En Images フレームワークを実装（図 13–14）。
• d3js や Google Charts などの人気のある可視化ライブラリと統合し、スキーマに基づくデータからインタラクティブな可視化を生成。
• ベイジアン知識トレーシング や アイテム反応理論などの標準的な研究ワークフローに対応するため、CSV ファイルへのデータエクスポートツールを構築。

実験結果

リサーチクエスチョン

• RQ1 標準化されたデータスキーマは、MOOC 研究におけるデータ準備や特徴工学に要する時間と労力の削減にどの程度寄与するか？
• RQ2 個人の生データを共有せずに、複数プラットフォーム間の MOOC データ分析をどの程度可能にするか？
• RQ3 共有されたスキーマとスクリプトベースのアナリティクスフレームワークは、異なる MOOC プラットフォームやコース間で再現可能で比較可能な結果を実現できるか？
• RQ4 研究者は、統一的で拡張可能なデータモデルを用いて、MOOC の行動データを効率的に抽出・可視化・モデリングできるか？
• RQ5 MOOC データ科学における再利用可能な特徴やアナリティクスパイプラインの長期的コミュニティによる整備を支えるメカニズムは何か？

主な発見

• MOOCdb スキーマは、6.002x ケーススタディを通じて、edX や Coursera といった複数の MOOC プラットフォーム間で一貫したデータモデリングを可能にした。
• MOOC En Images フレームワークは、国レベルの平均宿題提出率を可視化し、モンゴルで高い関与度が確認されたことを示しており、このスキーマが国際的分析に有用であることを実証した。
• スクリプトベースのアナリティクス（図 15–16 の Python や MATLAB のコードスニペット例）により、直接 SQL を知らなくても、スキーマ準拠のデータベースからデータを照会できるようになり、アクセス性が向上した。
• ベイジアン知識トレーシング や アイテム反応理論などの標準的な研究ワークフローに対応するため、CSV 形式でのデータエクスポートをサポートした。
• 生データの共有に依存するのではなく、特徴と結果を再現するのに必要な論理（スクリプト）のみを共有することで、プライバシー保護と再現可能性を高めた。
• 本プロジェクトは、スタンフォード、Coursera、edX の共同研究者からすでに支持を得ており、コミュニティフィードバックやプラットフォーム固有のニーズに基づいて、反復的にスキーマが最適化されている。