[논문 리뷰] Engaging Learning Analytics in MOOCS: the good, the bad, and the ugly

Mohammad Khalil, Behnam Taraghi외 1명|arXiv (Cornell University)|2016. 06. 12.

Online Learning and Analytics참고 문헌 15인용 수 18

한 줄 요약

이 논문은 학습 분석(Learning Analytics)의 MOOCs 통합을 경험 기반으로 분석하여 그 이점(좋은 점), 한계(나쁜 점), 오해의 소지가 있는 관행(지저분한 점)을 규명한다. 이는 학습자 참여도와 강의 품질 향상을 위해 분석을 균형 있게 활용하는 프레임워크를 제안하며, MOOC 환경에서의 높은 탈락률과 낮은 상호작용 문제를 해결하고자 한다.

ABSTRACT

Learning Analytics is an emerging field in the vast areas of Educational Technology and Technology Enhanced Learning (TEL). It provides tools and techniques that offer researchers the ability to analyze, study, and benchmark institutions, learners and teachers as well as online learning environments such as MOOCs. Massive Open Online Courses (MOOCs) are considered to be a very active and an innovative form of bringing educational content to a broad community. Due to the reasons of being free and accessible to the public, MOOCs attracted a large number of heterogeneous learners who differ in education level, gender, and age. However, there are pressing demands to adjust the quality of the hosted courses, as well as controlling the high dropout ratio and the lack of interaction. With the help of Learning Analytics, it is possible to contain such issues. In this publication, we discuss the principles of engaging Learning Analytics in MOOCs learning environments and review its potential and capabilities (the good), constraints (the bad), and fallacy analytics (the ugly) based on our experience in last years.

연구 동기 및 목표

• 학습 분석이 MOOC의 품질과 효과성 향상에 미치는 역할을 분석하기 위해.
• MOOC 환경에 학습 분석을 통합함으로써 나타나는 긍정적 영향(좋은 점)을 규명하기 위해.
• MOOC에서 학습 분석을 구현할 때 발생하는 제약 조건과 과제(나쁜 점)를 검토하기 위해.
• 학습 분석의 오해의 소지가 있거나 잘못된 관행(지저분한 점)을 밝혀내어 통찰력 왜곡이나 이해관계자 오도를 방지하기 위해.
• MOOC에서 학습 분석의 책임감 있고 효과적인 사용을 위한 균형 잡힌 경험 기반 프레임워크를 제공하기 위해.

제안 방법

• 이전 연도의 경험적 데이터를 바탕으로 MOOC에서의 학습 분석 적용에 대한 체계적 검토.
• 학습 분석 결과를 세 가지 차원으로 분류: 유익함(좋은 점), 문제점(나쁜 점), 오해의 소지가 있음(지저분한 점).
• 실제 MOOC 학습 환경에서의 구현 과제를 평가하기 위해 정성적 및 관찰 기반 분석의 활용.
• 학습자 참여도, 탈락 예측, 상호작용 패턴 등 MOOC 분석에서 사용되는 주요 지표 및 지표 식별.
• 기관 수준 및 학습자 수준의 데이터 평가를 통해 성과 기준을 설정하고 강의 개선에 기여.
• 교육 기술 및 기술 기반 학습(Technology-Enhanced Learning, TEL)의 원칙을 적용하여 연구 결과를 맥락화하기.

실험 결과

연구 질문

• RQ1 MOOC에 학습 분석을 통합함으로써 달성 가능한 측정 가능한 이점은 무엇인가요?
• RQ2 MOOC 플랫폼 내에서 학습 분석을 구현할 때 주요 제약 조건과 한계는 무엇인가요?
• RQ3 학습 분석이 MOOC 환경에서 잘못된 또는 해로운 해석을 초래할 수 있는 방식은 무엇인가요?
• RQ4 기관은 어떻게 학습 분석을 책임감 있게 활용하여 강의 설계와 학습자 유지를 향상시킬 수 있나요?
• RQ5 MOOC 환경에서 분석에 과도하게 의존함으로써 발생할 수 있는 윤리적 및 실무적 위험은 무엇인가요?

주요 결과

• 학습 분석은 위험에 처한 학습자를 식별하고 적시에 조치를 취할 수 있도록 함으로써 강의 품질 향상과 학습자 참여도 향상에 크게 기여할 수 있다.
• MOOC에서의 높은 탈락률은 일반적으로 낮은 학습자 상호작용과 연관되어 있으며, 학습 분석을 통해 이를 진단하고 해결할 수 있다.
• 잠재력이 크지만, 데이터 품질 문제, 표준화 부족, 제한된 기관 지원 등의 이유로 학습 분석은 자주 제약을 받는다.
• 분석의 오용—예를 들어 상관관계를 인과관계로 오해하는 것—은 잘못된 결론과 효과가 없는 조치를 초래할 수 있으며, 이는 '지저분한 측면'으로서의 문제를 낳는다.
• 기관 및 기술적 장벽, 예를 들어 개인정보 보호 문제와 상호운용성 부족은 MOOC에서 학습 분석의 효과적 구현을 저해한다.
• 논문은 과도한 낙관론과 과도한 회의론을 피할 수 있는 균형 잡힌 윤리 기반 접근 방식의 필요성을 강조한다.