[論文レビュー] Lessons Learnt from a Multimodal Learning Analytics Deployment In-the-wild

Roberto Martínez‐Maldonado, Vanessa Echeverría+11 more|arXiv (Cornell University)|Mar 16, 2023

Online and Blended Learning被引用数 4

ひとこと要約

本論文は、399名の学生と17名の教育者を対象に2年間にわたり実地で実施されたマルチモーダル学習分析（MMLA）の展開から、実用的な教訓を提示する。ビデオ、音声、生理的センサー、屋内位置特定技術を用いた。技術統合、データプライバシー、倫理的同意、インターフェース設計、持続可能性の分野における重要な課題を特定し、倫理的かつ効果的なMMLAの実装を支援する人間中心で段階的な設計を提唱する。

ABSTRACT

Multimodal Learning Analytics (MMLA) innovations make use of rapidly evolving sensing and artificial intelligence algorithms to collect rich data about learning activities that unfold in physical learning spaces. The analysis of these data is opening exciting new avenues for both studying and supporting learning. Yet, practical and logistical challenges commonly appear while deploying MMLA innovations "in-the-wild". These can span from technical issues related to enhancing the learning space with sensing capabilities, to the increased complexity of teachers' tasks and informed consent. These practicalities have been rarely discussed. This paper addresses this gap by presenting a set of lessons learnt from a 2-year human-centred MMLA in-the-wild study conducted with 399 students and 17 educators. The lessons learnt were synthesised into topics related to i) technological/physical aspects of the deployment; ii) multimodal data and interfaces; iii) the design process; iv) participation, ethics and privacy; and v) the sustainability of the deployment.

研究の動機と目的

• 本稿の目的は、真の教育的環境におけるマルチモーダル学習分析（MMLA）を展開するにあたり、実務的知見が不足している現状を是正することにある。
• MMLAの展開において生じる技術統合、データ収集、倫理的配慮の分野における現実の課題を特定し、文書化することにある。
• 教育者や学習者によるMMLAの持続的かつ倫理的な導入を支援するため、証拠に基づいた設計原則を提供することにある。
• プロトタイプのMMLAシステムと、実教室でスケーラブルかつ使いやすい実装との間のギャップを埋めることにある。
• 長期間にわたる人間中心の展開を通じて得られた教訓を統合することで、今後のMMLA研究と実践を支援することにある。

提案手法

• 399名の学生と17名の教育者を対象に、複数の真の学習環境で2年間にわたる実地MMLA研究を実施した。
• ビデオ、音声、生理的腕時計センサー、屋内位置特定システムを含むマルチモーダルセンサーを導入し、豊富な学習データを収集した。
• 教師および生徒のフィードバックと教育活動の変化に応じて、段階的な設計を用いて2回の研究サイクルを実施した。
• インタビュー、観察、システムログを用いてデータを収集し、ユーザーの認識、干渉の度合い、使いやすさを評価した。
• 教訓を5つのテーマ的分野に統合した：技術的・物理的セットアップ、マルチモーダルデータとインターフェース、設計プロセス、倫理とプライバシー、持続可能性。
• 教育的実践と倫理基準に整合するよう、ステークホルダーとともに共同で解決策を設計する人間中心の設計原則を適用した。

実験結果

リサーチクエスチョン

• RQ1 真の実世界の教育的環境でマルチモーダル学習分析（MMLA）を展開するにあたり、どのような実務的課題が生じるか？
• RQ2 学習空間におけるセンサーによるデータ収集の干渉性と倫理的含意について、生徒と教育者はどのように認識しているか？
• RQ3 実教室におけるMMLAシステムの使いやすさと持続可能性を向上させるための設計戦略は何か？
• RQ4 マルチモーダルデータインターフェースは、プライバシーを尊重しつつ、意味のある自己認識と学びを支援するようにどのように設計できるか？
• RQ5 教育機関におけるMMLA技術の長期的採用とスケーラビリティに影響を与える要因は何か？

主な発見

• 実教室におけるセンサーの設置は、複雑な設置、キャリブレーション、保守要件を伴う、顕著な技術的・物流的課題を引き起こした。
• 生徒および教育者から、特に共有インターフェースに可視化されたマルチモーダルデータに関して、プライバシーとデータの感受性に関する懸念が示された。
• 倫理的同意プロセスは複雑であり、参加者はとりわけ長期保存やデータ共有に関する使用方法を完全に理解していなかった。
• データインターフェースの設計が、ユーザーの信頼と参加意欲に顕著な影響を与えた。可視化されたデータ表示は、監視の認識を高めた。
• 持続可能性は、高い保守要件と機関の支援不足によって損なわれたが、初期段階での関与は高かった。
• 教師の負担は、新たなデータフローの管理とMMLAの知見を既存の教育的実践に統合する必要性により増加した。