[論文レビュー] Engaging with Massive Online Courses

Ashton Anderson, Daniel P. Huttenlocher+2 more|arXiv (Cornell University)|Mar 12, 2014

Online Learning and Analytics参考文献 10被引用数 57

ひとこと要約

本論文は、6つのスタンフォード・コursoraコースからのトレースデータを用いて、大規模公開オンラインコース（MOOC）における学生の参加スタイルの分類法を提案し、5つの明確に異なる行動パターンを同定した。さらに、ランダム化比較実験を大規模に実施し、バッジデザインがフォーラム参加に与える影響を評価した結果、バッジの目立たせ方を高めることで参加が顕著に増加することが判明した。これは、インcentiveシステムにおけるわずかなデザインの変更が、オンライン教育プラットフォームにおけるユーザー行動に意味的な影響を与える可能性があることを示している。

ABSTRACT

The Web has enabled one of the most visible recent developments in education---the deployment of massive open online courses. With their global reach and often staggering enrollments, MOOCs have the potential to become a major new mechanism for learning. Despite this early promise, however, MOOCs are still relatively unexplored and poorly understood. In a MOOC, each student's complete interaction with the course materials takes place on the Web, thus providing a record of learner activity of unprecedented scale and resolution. In this work, we use such trace data to develop a conceptual framework for understanding how users currently engage with MOOCs. We develop a taxonomy of individual behavior, examine the different behavioral patterns of high- and low-achieving students, and investigate how forum participation relates to other parts of the course. We also report on a large-scale deployment of badges as incentives for engagement in a MOOC, including randomized experiments in which the presentation of badges was varied across sub-populations. We find that making badges more salient produced increases in forum engagement.

研究の動機と目的

• 従来のコースモデルを超えて、MOOCにおける多様な学生参加様式を理解すること。
• 講義視聴と課題提出頻度に基づいた、データ駆動型の参加スタイル分類法の構築。
• フォーラム参加が成績および参加スタイルとどのように相関するかの調査。
• MOOCのディスカッションフォーラムにおけるバッジデザインが学生参加に与える影響の評価。
• バッジの提示方法の変化（例：可視性、社会的信号）が、制御された実験を通じてユーザー行動に与える影響のテスト。

提案手法

• 著者は各学生の「課題割合」を算出し、評価済み課題と講義視聴の割合を測定した。
• 課題割合と講義完了率を用いてk-meansクラスタリングを実施し、5つの明確に異なる参加スタイルを同定した。
• 主要なMOOCにおいて大規模なランダム化比較実験を実施し、サブグループ間でバッジの提示方法を変化させた：コントロール群、マイルストーン中心のバッジ、社会的可視性のあるバッジ。
• 実験では、投稿数や活動時間などのフォーラム参加行動の変化を、各処置群で測定した。
• 統計的分析により、バッジデザインの因果的影響を評価するため、グループ間の参加レベルを比較した。
• 本研究は、6つのコースで10万人を超える学生のトレースデータを活用し、大規模な行動分析を可能にした。

実験結果

リサーチクエスチョン

• RQ1 MOOC学習者に見られる主な繰り返し発現する参加スタイルは何か。また、それらはどのように相互作用パターンで異なるか。
• RQ2 異なる参加スタイルは、成績および修了率とどの程度相関するか。
• RQ3 バッジデザインがMOOCのディスカッションフォーラムにおける参加に与える影響はどの程度か。
• RQ4 マイルストーンの強調や社会的可視性といった、バッジ提示方法の変化が、参加行動に測定可能な差を生じるか。
• RQ5 バッジがオンライン学習行動を動機づける際の背後にある心理的メカニズムは何か。

主な発見

• 5つの明確に異なる参加スタイルが同定された：「学習者」、「聴講者」、「修了者」、「受動的参加者」、「ハイパフォーマンス」。各スタイルは、講義視聴と課題提出のバランスに特徴がある。
• 課題割合が高い学生は、より高い成績を達成する傾向にあり、これは積極的な課題提出が成績と強く相関していることを示している。
• ランダム化比較実験の結果、特にマイルストーンへの進捗を強調することでバッジの目立ちを高めると、フォーラム参加が増加した。
• 「社会的可視性」処置群（バッジを公に表示）は、コントロール群と比較して、統計的に有意にフォーラム活動が増加した。
• 視覚的インパクトやフィードバックフレーミングといった、バッジ提示方法のわずかな変更ですら、ユーザー行動に測定可能で有意義な影響を与えた。
• 結果から、バッジは装飾的なものではなく、戦略的に設計すれば強力な動機付け要因となり得ることが示唆された。また、その有効性の背後にある心理的メカニズムは複雑で、調整可能な性質を有する。