[논문 리뷰] Lessons Learnt from a Multimodal Learning Analytics Deployment In-the-wild

Roberto Martínez‐Maldonado, Vanessa Echeverría외 11명|arXiv (Cornell University)|2023. 03. 16.

Online and Blended Learning인용 수 4

한 줄 요약

이 논문은 399名의 학생과 17명의 교사와 함께 2년간 현장에서 실시한 다중모달 학습 분석(MMLA) 도입 사례에서 얻은 실천 가능한 교훈을 제시한다. 영상, 음성, 생리적 센서, 실내 위치 추적 기술을 활용하였다. 기술 통합, 데이터 프라이버시, 윤리적 동의, 인터페이스 설계, 지속 가능성 등의 핵심 과제를 규명하였으며, 실제 교육 환경에서 윤리적이고 효과적인 MMLA를 지원하기 위해 인간 중심의 반복적 설계를 주장한다.

ABSTRACT

Multimodal Learning Analytics (MMLA) innovations make use of rapidly evolving sensing and artificial intelligence algorithms to collect rich data about learning activities that unfold in physical learning spaces. The analysis of these data is opening exciting new avenues for both studying and supporting learning. Yet, practical and logistical challenges commonly appear while deploying MMLA innovations "in-the-wild". These can span from technical issues related to enhancing the learning space with sensing capabilities, to the increased complexity of teachers' tasks and informed consent. These practicalities have been rarely discussed. This paper addresses this gap by presenting a set of lessons learnt from a 2-year human-centred MMLA in-the-wild study conducted with 399 students and 17 educators. The lessons learnt were synthesised into topics related to i) technological/physical aspects of the deployment; ii) multimodal data and interfaces; iii) the design process; iv) participation, ethics and privacy; and v) the sustainability of the deployment.

연구 동기 및 목표

• 실제 교육 환경에서 다중모달 학습 분석(MMLA)을 도입하는 데 있어 실용적인 통찰이 부족한 문제를 해결하기 위해.
• MMLA 도입 과정에서 발생하는 기술 통합, 데이터 수집, 윤리적 고려 사항과 같은 실제 과제를 규명하고 문서화하기 위해.
• 교육자와 학습자가 사용할 수 있도록 증거 기반의 설계 원칙을 통해 MMLA의 지속 가능하고 윤리적인 도입을 지원하기 위해.
• 프로토타입 MMLA 시스템과 실제 교실에서 확장 가능하고 사용 가능한 구현 간 격차를 메우기 위해.
• 장기적인 종단형 인간 중심의 도입 사례에서 도출된 교훈을 종합하여 향후 MMLA 연구와 실천에 기여하기 위해.

제안 방법

• 399명의 학생과 17명의 교사가 참여한 2년간의 현장에서 실시한 MMLA 연구를 다수의 실제 학습 환경에서 수행하였다.
• 영상, 음성, 생리적 손목밴드, 실내 위치 추적 시스템을 포함한 다중모달 센서를 도입하여 풍부한 학습 데이터를 촬영하였다.
• 교사와 학생의 피드백 및 변화하는 교육 활동에 대응하기 위해 반복적 설계를 적용하였으며, 두 차례의 연구 반복을 수행하였다.
• 인터뷰, 관찰, 시스템 로그를 통해 사용자 인식, 간섭성, 사용성 등을 평가하기 위해 데이터를 수집하였다.
• 기술적/물리적 설정, 다중모달 데이터 및 인터페이스, 설계 과정, 윤리 및 프라이버시, 지속 가능성의 다섯 가지 주제 영역으로 교훈을 통합하였다.
• 교육 실천과 윤리 기준에 부합하기 위해 이해관계자들과 협업하여 솔루션을 공동으로 개발함으로써 인간 중심의 설계 원칙을 적용하였다.

실험 결과

연구 질문

• RQ1 실제 교육 환경에서 다중모달 학습 분석(MMLA)을 도입할 때 나타나는 실질적 과제는 무엇인가?
• RQ2 학생과 교사들은 학습 공간에서 센서 기반 데이터 수집의 간섭성과 윤리적 함의를 어떻게 평가하는가?
• RQ3 실제 교실에서 MMLA 시스템의 사용성과 지속 가능성을 향상시키기 위한 설계 전략은 무엇인가?
• RQ4 다중모달 데이터 인터페이스는 어떻게 설계되어야 하며, 개인 정보 보호를 존중하면서도 의미 있는 반성과 학습을 지원할 수 있는가?
• RQ5 교육 기관에서 MMLA 기술의 장기적 도입과 확장 가능성을 좌우하는 요소는 무엇인가?

주요 결과

• 실제 교실에서 센서를 도입하는 데 있어 복잡한 설치, 校정, 유지보수 요구 사항 등 상당한 기술적 및 물리적 과제가 발생하였다.
• 학생과 교사들은 특히 공용 인터페이스에 시각화된 다중모달 데이터에 대해 프라이버시와 데이터 민감성에 대한 우려를 표명하였다.
• 윤리적 동의 절차가 복잡하였으며, 특히 장기 저장 및 공유에 대한 데이터 사용 방식을 참가자들이 충분히 이해하지 못하는 경우가 많았다.
• 데이터 인터페이스의 설계가 사용자 신뢰와 참여 의지에 큰 영향을 미쳤으며, 시각적으로 노출된 데이터 표시 방식은 감시가 강화된 것으로 인식되었다.
• 높은 유지보수 요구 수준과 기관 차원의 지원 부족으로 인해 지속 가능성에 손상이 가했다. 초기 참여 수준이 높았더라도 마찬가지였다.
• 교사들의 업무 부담이 증가하였으며, 새로운 데이터 흐름을 관리하고 MMLA 통찰을 기존 교육 실천에 통합해야 하는 필요성 때문이었다.