[论文解读] Desperately seeking the impact of learning analytics in education at scale: Marrying data analysis with teaching and learning

Olga Viberg, Åke Grönlund|arXiv (Cornell University)|May 14, 2021

Online Learning and Analytics被引用 4

一句话总结

本文批判性地审视了学习分析（LA）的承诺与其在大规模教育中的实际影响之间的差距，认为有效的数据驱动教学需要深入理解教育工作者的需求、实践及情境约束。文章提出，可持续的学习分析影响取决于通过针对性支持教育工作者在数字化方面的知识与技能，将数据分析与教学现实相契合。

ABSTRACT

Learning analytics (LA) is argued to be able to improve learning outcomes, learner support and teaching. However, despite an increasingly expanding amount of student (digital) data accessible from various online education and learning platforms and the growing interest in LA worldwide as well as considerable research efforts already made, there is still little empirical evidence of impact on practice that shows the effectiveness of LA in education settings. Based on a selection of theoretical and empirical research, this chapter provides a critical discussion about the possibilities of collecting and using student data as well as barriers and challenges to overcome in providing data-informed support to educators' everyday teaching practices. We argue that in order to increase the impact of data-driven decision-making aimed at students' improved learning in education at scale, we need to better understand educators' needs, their teaching practices and the context in which these practices occur, and how to support them in developing relevant knowledge, strategies and skills to facilitate the data-informed process of digitalization of education.

研究动机与目标

• 调查尽管数据可用性不断提高且研究兴趣日益增长，学习分析（LA）为何尚未在大规模教育环境中展现出可衡量的影响。
• 识别教育工作者在日常教学实践中采纳数据驱动决策时面临的主要障碍与挑战。
• 探讨教育工作者的需求、教学情境及现有实践如何影响LA实施的可行性与有效性。
• 提出一个支持教育工作者发展必要知识、策略与技能的框架，以实现LA在数字化教育中的有意义整合。
• 通过将LA举措与实际教学情境和教育工作者能力相契合，弥合数据分析与教学实践之间的差距。

提出的方法

• 对教育领域学习分析的现有理论与实证研究进行批判性综述。
• 分析学生可用数据与教育工作者在教学与学习情境中的实际需求之间的对齐程度。
• 审视阻碍LA融入日常教学实践的制度与教学障碍。
• 聚焦LA实施的社会技术维度，包括教育工作者的自主性、数据素养以及制度支持结构。
• 提出一种情境敏感的学习分析方法，优先考虑教育工作者的理解力与实际适用性，而非技术性数据收集。
• 强调需要通过教育工作者参与的共同设计过程，确保LA工具与洞察在真实课堂环境中具有相关性与可用性。

实验结果

研究问题

• RQ1 尽管研究广泛且数据丰富，为何学习分析尚未在大规模教育环境中展现出显著影响？
• RQ2 教育工作者在教学中采纳数据驱动实践时面临的主要障碍是什么？
• RQ3 如何使学习分析更好地与教育工作者的实际教学实践和情境需求相契合？
• RQ4 教育工作者在数字化教育环境中有效使用学习分析需要哪些支持？
• RQ5 在大规模范围内，数据驱动决策在教育工作者的日常工作中可通过何种方式实现有意义的整合？

主要发现

• 尽管学生数字数据的获取日益增加，且学习分析研究兴趣持续上升，但其对学习成果或教学实践影响的实证证据仍然严重不足。
• 教育工作者往往缺乏有效解读和运用学习分析数据所必需的知识、技能及制度支持。
• 学习分析的有效性受到数据可得性与教育工作者实际需求及教学情境之间不匹配的严重制约。
• 学习分析的成功实施不仅依赖技术数据系统，更需关注教学实践、教育工作者自主性与情境因素。
• 迫切需要有针对性的支持，以提升教育工作者的数据素养及其将数据洞察转化为可操作教学策略的能力。
• 当前学习分析方法往往忽视课堂环境的复杂性，导致工具在真实教育环境中被低效使用或误用。