[논문 리뷰] Key principles for workforce upskilling via online learning: a learning analytics study of a professional course in additive manufacturing

Kylie Peppler, Joey Huang외 5명|arXiv (Cornell University)|2020. 08. 15.

Online Learning and Analytics참고 문헌 17인용 수 6

한 줄 요약

이 연구는 MITxPro의 900명 참가자 대상 온라인 과정을 대상으로 학습 분석을 적용하여 적층 제조 분야에서 효과적인 온라인 워크포스 업스킬링을 위한 핵심 원칙을 규명한다. 학습 목표와 평가를 일치시키고, 참여도와 성과를 추적하기 위해 시각적 분석을 활용함으로써 연구자들은 정확한 과정 개선을 이끌었으며, 데이터 기반 과정 설계가 학습 성과 향상과 즉각적인 기술 습득을 어떻게 향상시키는지 입증했다.

ABSTRACT

Effective adoption of online platforms for teaching, learning, and skill development is essential to both academic institutions and workplaces. Adoption of online learning has been abruptly accelerated by COVID19 pandemic, drawing attention to research on pedagogy and practice for effective online instruction. Online learning requires a multitude of skills and resources spanning from learning management platforms to interactive assessment tools, combined with multimedia content, presenting challenges to instructors and organizations. This study focuses on ways that learning sciences and visual learning analytics can be used to design, and to improve, online workforce training in advanced manufacturing. Scholars and industry experts, educational researchers, and specialists in data analysis and visualization collaborated to study the performance of a cohort of 900 professionals enrolled in an online training course focused on additive manufacturing. The course was offered through MITxPro, MIT Open Learning is a professional learning organization which hosts in a dedicated instance of the edX platform. This study combines learning objective analysis and visual learning analytics to examine the relationships among learning trajectories, engagement, and performance. The results demonstrate how visual learning analytics was used for targeted course modification, and interpretation of learner engagement and performance, such as by more direct mapping of assessments to learning objectives, and to expected and actual time needed to complete each segment of the course. The study also emphasizes broader strategies for course designers and instructors to align course assignments, learning objectives, and assessment measures with learner needs and interests, and argues for a synchronized data infrastructure to facilitate effective just in time learning and continuous improvement of online courses.

연구 동기 및 목표

• 학습 분석을 활용한 고급 제조 분야 온라인 워크포스 업스킬링의 효과적인 원칙을 규명하기 위해.
• 전문 온라인 과정에서 학습 궤적, 학습자 참여도, 성과 간의 관계를 분석하기 위해.
• 학습 분석과 목표 일치를 바탕으로 한 데이터 기반 수정을 통해 과정 설계를 개선하기 위해.
• 통합된 데이터 인fra구조를 통해 실시간 학습 지원과 지속적인 과정 개선을 지원하기 위해.

제안 방법

• edX 플랫폼을 통해 MITxPro에서 제공하는 적층 제조 전문 온라인 과정에 대해 학습 분석 연구를 수행하였다.
• 과정 평가 항목을 특정 학습 목표와 연결하여 일치성과 추적 가능성을 확보하였다.
• 학습자 참여도, 작업 시간, 성과를 과정 세그먼트별로 추적하기 위해 시각적 학습 분석을 활용하였다.
• 900명의 전문가로부터 확보한 데이터를 바탕으로 학습 궤적을 분석하여 이수 및 성과 패턴을 규명하였다.
• 학습 분석 통찰을 기반으로 반복적인 과정 수정을 통해 과정 구조와 학습자 성과를 향상시켰다.
• 데이터 수집, 해석, 과정 재설계 간 피드백 루프를 통합하여 지속적인 개선을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 전문 온라인 과정에서 적층 제조 분야의 학습 궤적, 참여도, 성과는 어떻게 상관관계가 있는가?
• RQ2 시각적 학습 분석을 통해 평가 항목과 학습 목표 간의 일치를 얼마나 향상시킬 수 있는가?
• RQ3 데이터 기반 과정 수정은 온라인 워크포스 교육에서 학습자 성과와 참여도를 어떻게 향상시킬 수 있는가?
• RQ4 통합된 데이터 인fra구조는 실시간 학습 지원과 과정 개선을 위해 어떤 역할을 하는가?

주요 결과

• 시각적 학습 분석을 통해 평가 항목의 일치 오류와 비효율적인 과정 세그먼트를 정확히 식별하고, 이에 기반한 정확한 과정 수정을 이끌었다.
• 평가 항목을 학습 목표와 더 직접적으로 연결함으로써 학습자 성과가 향상되고 혼란도 감소하였다.
• 실제 작업 시간은 예상 시간과 상당한 차이를 보였으며, 이는 과정 설계 시 데이터 기반 시간 추정이 필수적임을 시사한다.
• 학습자 참여도 패턴은 높은 성과자와 낮은 성과자로 나뉘는 명확한 군집을 드러내어 개인 맞춤형 학습 간입을 위한 근거를 제공하였다.
• 학습 분석과 과정 재설계의 통합으로 과정 이수율과 성과 지표에서 측정 가능한 향상이 이루어졌다.
• 통합된 데이터 인fra구조는 실시간 모니터링, 즉각적 학습 지원, 지속적인 과정 최적화를 가능하게 하여 핵심적인 역할을 하였다.