[论文解读] Lessons Learnt from a Multimodal Learning Analytics Deployment In-the-wild

Roberto Martínez‐Maldonado, Vanessa Echeverría+11 more|arXiv (Cornell University)|Mar 16, 2023

Online and Blended Learning被引用 4

一句话总结

本论文基于一项为期两年的实地多模态学习分析（MMLA）部署研究，涵盖399名学生和17名教育工作者，利用视频、音频、生理传感器及室内定位技术，总结出可操作的经验教训。研究识别出技术整合、数据隐私、伦理同意、界面设计与可持续性方面的关键挑战，倡导采用以人为本、迭代式的设计方法，以支持在真实教育环境中实现伦理且高效的MMLA应用。

ABSTRACT

Multimodal Learning Analytics (MMLA) innovations make use of rapidly evolving sensing and artificial intelligence algorithms to collect rich data about learning activities that unfold in physical learning spaces. The analysis of these data is opening exciting new avenues for both studying and supporting learning. Yet, practical and logistical challenges commonly appear while deploying MMLA innovations "in-the-wild". These can span from technical issues related to enhancing the learning space with sensing capabilities, to the increased complexity of teachers' tasks and informed consent. These practicalities have been rarely discussed. This paper addresses this gap by presenting a set of lessons learnt from a 2-year human-centred MMLA in-the-wild study conducted with 399 students and 17 educators. The lessons learnt were synthesised into topics related to i) technological/physical aspects of the deployment; ii) multimodal data and interfaces; iii) the design process; iv) participation, ethics and privacy; and v) the sustainability of the deployment.

研究动机与目标

• 解决在真实教育环境中部署多模态学习分析（MMLA）时缺乏实际见解的问题。
• 识别并记录在MMLA部署过程中面临的技术整合、数据收集与伦理考量等现实挑战。
• 通过基于证据的设计原则，支持教育工作者与学习者可持续且合乎伦理地采用MMLA。
• 弥合原型MMLA系统与真实课堂中可扩展、可用实现之间的差距。
• 通过整合在真实学习环境中开展的纵向、以人为本的部署所获得的经验教训，为未来的MMLA研究与实践提供参考。

提出的方法

• 在多个真实学习环境中开展为期两年的实地MMLA研究，覆盖399名学生和17名教育工作者。
• 部署包括视频、音频、生理腕带及室内定位系统在内的多模态传感器，以捕捉丰富的学习数据。
• 采用迭代设计方法，历经两次研究迭代，根据教师与学生的反馈以及教育活动的演变进行调整。
• 通过访谈、观察与系统日志收集数据，评估用户感知、侵入性程度与可用性。
• 将经验教训归纳为五个主题领域：技术与物理部署、多模态数据与界面、设计流程、伦理与隐私、可持续性。
• 应用以人为本的设计原则，与利益相关者共同开发解决方案，确保与教育实践和伦理标准保持一致。

实验结果

研究问题

• RQ1 在真实、现实的教育环境中部署多模态学习分析时，会涌现出哪些实际挑战？
• RQ2 学生与教育工作者如何看待学习空间中基于传感器的数据采集所带来的侵入性与伦理影响？
• RQ3 哪些设计策略能够提升MMLA系统在真实课堂中的可用性与可持续性？
• RQ4 如何设计多模态数据界面，在尊重隐私的同时支持有意义的反思与学习？
• RQ5 哪些因素会影响MMLA技术在教育机构中的长期采纳与可扩展性？

主要发现

• 在真实课堂中部署传感器带来了显著的技术与后勤挑战，包括复杂的安装、校准与维护需求。
• 学生与教育工作者对隐私与数据敏感性表示担忧，尤其是在多模态数据被可视化于共享界面时。
• 伦理同意流程复杂；参与者往往未能充分理解数据使用方式，特别是关于长期存储与共享的部分。
• 数据界面的设计显著影响用户信任度与参与意愿，可见的数据展示会增加被监视的感知。
• 即使初期参与度较高，可持续性仍因高维护需求与缺乏机构支持而受到损害。
• 教师工作量因需要管理新的数据流并整合MMLA洞察到现有教学实践中而增加。