[论文解读] Engaging Learning Analytics in MOOCS: the good, the bad, and the ugly

Mohammad Khalil, Behnam Taraghi+1 more|arXiv (Cornell University)|Jun 12, 2016

Online Learning and Analytics参考文献 15被引用 18

一句话总结

本文基於實證經驗，探討慕課（MOOCs）中學習分析（Learning Analytics）的整合，識別其優點（好）、限制（壞）以及誤導性實踐（醜陋），並提出一個平衡的框架，以提升學習者參與度與課程品質，同時應對慕課環境中高流失率與低互動的問題。

ABSTRACT

Learning Analytics is an emerging field in the vast areas of Educational Technology and Technology Enhanced Learning (TEL). It provides tools and techniques that offer researchers the ability to analyze, study, and benchmark institutions, learners and teachers as well as online learning environments such as MOOCs. Massive Open Online Courses (MOOCs) are considered to be a very active and an innovative form of bringing educational content to a broad community. Due to the reasons of being free and accessible to the public, MOOCs attracted a large number of heterogeneous learners who differ in education level, gender, and age. However, there are pressing demands to adjust the quality of the hosted courses, as well as controlling the high dropout ratio and the lack of interaction. With the help of Learning Analytics, it is possible to contain such issues. In this publication, we discuss the principles of engaging Learning Analytics in MOOCs learning environments and review its potential and capabilities (the good), constraints (the bad), and fallacy analytics (the ugly) based on our experience in last years.

研究动机与目标

• 分析學習分析在提升慕課品質與有效性中的角色。
• 識別在慕課環境中整合學習分析所帶來的正面影響（好）。
• 檢視在慕課中實施學習分析所面臨的限制與挑戰（壞）。
• 揭露可能扭曲洞察或誤導利益相關者的誤導性或有缺陷的分析實踐（醜陋）。
• 提供一個基於經驗的平衡框架，以實現慕課中學習分析的責任且有效的應用。

提出的方法

• 基於過去年份的實證數據，對慕課中學習分析應用進行系統性文獻回顧。
• 將學習分析的成果分類為三個維度：有益（好）、問題（壞）與誤導（醜陋）。
• 運用質性與觀察性分析，評估慕課學習環境中真實世界的實施挑戰。
• 識別慕課分析中使用的關鍵指標與度量標準，包括學習者參與度、流失預測與互動模式。
• 評估機構層級與學習者層級的數據，以建立績效基準並推動課程改進。
• 應用教育技術與技術增強學習（Technology-Enhanced Learning, TEL）的原則，以 contextualize 研究發現。

实验结果

研究问题

• RQ1 在慕課中整合學習分析的可衡量優勢為何？
• RQ2 在慕課平台中部署學習分析的主要限制與障礙為何？
• RQ3 學習分析在慕課情境中可能以何種方式導致誤解或有害的解讀？
• RQ4 機構應如何責任地運用學習分析以改善課程設計與學習者留存率？
• RQ5 在慕課環境中過度依賴分析所伴隨的倫理與實務風險為何？

主要发现

• 學習分析可透過識別高風險學生並促進及時干預，顯著提升課程品質與學習者參與度。
• 慕課中高流失率通常與學習者互動度低有關，而學習分析有助於診斷與解決此問題。
• 儘管潛力巨大，學習分析仍經常受限於資料品質問題、缺乏標準化以及機構支援不足。
• 分析的濫用——例如將相關性誤解為因果關係——可能導致錯誤結論與無效干預（「醜陋」的一面）。
• 機構與技術障礙，包括隱私顧慮與缺乏互操作性，阻礙了學習分析在慕課中的有效部署。
• 本文強調需採取一種平衡、基於倫理的分析方法，避免過度樂觀與過度懷疑。