[論文レビュー] Engaging Learning Analytics in MOOCS: the good, the bad, and the ugly

Mohammad Khalil, Behnam Taraghi+1 more|arXiv (Cornell University)|Jun 12, 2016

Online Learning and Analytics参考文献 15被引用数 18

ひとこと要約

この論文は、実証的経験に基づき、MOOCにおける学習分析の統合の利点（良い点）、制限（悪い点）、誤った実践（悪い点）を特定し、学習者の関与度とコースの質を向上させるためのバランスの取れた枠組みを提案する。MOOC環境における高い離脱率と低い相互作用の問題に対処する。

ABSTRACT

Learning Analytics is an emerging field in the vast areas of Educational Technology and Technology Enhanced Learning (TEL). It provides tools and techniques that offer researchers the ability to analyze, study, and benchmark institutions, learners and teachers as well as online learning environments such as MOOCs. Massive Open Online Courses (MOOCs) are considered to be a very active and an innovative form of bringing educational content to a broad community. Due to the reasons of being free and accessible to the public, MOOCs attracted a large number of heterogeneous learners who differ in education level, gender, and age. However, there are pressing demands to adjust the quality of the hosted courses, as well as controlling the high dropout ratio and the lack of interaction. With the help of Learning Analytics, it is possible to contain such issues. In this publication, we discuss the principles of engaging Learning Analytics in MOOCs learning environments and review its potential and capabilities (the good), constraints (the bad), and fallacy analytics (the ugly) based on our experience in last years.

研究の動機と目的

• 学習分析がMOOCの質と効果を向上させる役割を分析すること。
• MOOC環境に学習分析を統合した際の肯定的影響（良い点）を特定すること。
• MOOCにおける学習分析の導入における制約と課題（悪い点）を検討すること。
• 洞察を歪めたりステークホルダーを誤導する可能性のある誤った分析実践（悪い点）を明らかにすること。
• MOOCにおける学習分析の責任あるかつ効果的な使用のための、経験に基づいたバランスの取れた枠組みを提供すること。

提案手法

• 過去の年次データに基づく、MOOCにおける学習分析応用の体系的レビュー。
• 学習分析の成果を3つの次元に分類：有益（良い点）、問題あり（悪い点）、誤解を招く（悪い点）。
• 質的および観察的分析を用いて、MOOC学習環境における現実の実装課題を評価すること。
• 学習者関与度、離脱予測、相互作用パターンを含む、MOOC分析で用いられる主な指標およびメトリクスの特定。
• 機関レベルおよび学習者レベルのデータを評価し、パフォーマンスのベンチマーク化とコース改善の根拠とする。
• 教育技術およびテクノロジー強化学習（TEL）の原則を応用し、研究結果を文脈づけること。

実験結果

リサーチクエスチョン

• RQ1 MOOCにおける学習分析の統合による測定可能な利点は何か？
• RQ2 MOOCプラットフォーム内での学習分析の展開における主な制約と制限は何か？
• RQ3 学習分析がMOOCの文脈でどのように誤った解釈や有害な解釈を生じさせる可能性があるか？
• RQ4 機関はどのように責任ある方法で学習分析を活用し、コース設計と学習者の留任を改善できるか？
• RQ5 MOOC環境における分析への過剰依存に関連する倫理的および実務的リスクは何か？

主な発見

• 学習分析は、危険にさらされている学生を特定し、早期に対応できるため、コースの質と学習者の関与度を著しく向上させることができる。
• MOOCにおける高い離脱率はしばしば、学習者との相互作用が少ないことに起因しており、学習分析を用いることでその原因を特定・是正できる。
• その可能性にもかかわらず、学習分析は、データ品質の問題、標準化の欠如、および限られた機関的支援によってしばしば制限を受ける。
• 相関関係を因果関係と誤って解釈するなど、分析の誤用は誤った結論や効果のない対策を導くことがある（「悪い点」の側面）。
• プライバシー懸念や相互運用性の欠如を含む、機関的・技術的障壁が、MOOCにおける学習分析の効果的導入を妨げている。
• 本論文は、楽観的すぎず、過度に懐疑的すぎない、バランスの取れた、倫理的根拠に基づいた分析のあり方の必要性を強調している。