[논문 리뷰] Learning Analytics in Massive Open Online Courses

Mohammad Khalil|arXiv (Cornell University)|2018. 02. 17.

Online Learning and Analytics참고 문헌 198인용 수 4

한 줄 요약

이 박사학위 논문은 iMooX 플랫폼에 구현된 MOOC를 위한 종합적인 학습 분석 프레임워크를 제안한다. 이 프레임워크는 영상, 포럼, 퀴즈, 로그인 등의 행동 추적, 학생 참여도 군집화, 그리고 동기 모델링을 통합한다. 윤리적 및 개인정보 보호 문제를 해결하기 위해 탈식별 방법을 도입하여, 데이터 보안을 해치지 않으면서도 분석을 통해 참여도를 향상시키고 교육에 활용할 수 있음을 입증한다.

ABSTRACT

Educational technology has obtained great importance over the last fifteen years. At present, the umbrella of educational technology incorporates multitudes of engaging online environments and fields. Learning analytics and Massive Open Online Courses (MOOCs) are two of the most relevant emerging topics in this domain. Since they are open to everyone at no cost, MOOCs excel in attracting numerous participants that can reach hundreds and hundreds of thousands. Experts from different disciplines have shown significant interest in MOOCs as the phenomenon has rapidly grown. In fact, MOOCs have been proven to scale education in disparate areas. Their benefits are crystallized in the improvement of educational outcomes, reduction of costs and accessibility expansion. Due to their unusual massiveness, the large datasets of MOOC platforms require advanced tools and methodologies for further examination. The key importance of learning analytics is reflected here. MOOCs offer diverse challenges and practices for learning analytics to tackle. In view of that, this thesis combines both fields in order to investigate further steps in the learning analytics capabilities in MOOCs. The primary research of this dissertation focuses on the integration of learning analytics in MOOCs, and thereafter looks into examining students' behavior on one side and bridging MOOC issues on the other side. The research was done on the Austrian iMooX xMOOC platform. We followed the prototyping and case studies research methodology to carry out the research questions of this dissertation. The main contributions incorporate designing a general learning analytics framework, learning analytics prototype, records of students' behavior in nearly every MOOC's variables (discussion forums, interactions in videos, self-assessment quizzes, login frequency), a cluster of student engagement...

연구 동기 및 목표

• MOOC에 학습 분석을 효과적으로 통합하여 학생의 참여도와 학습 성과를 향상시키는 데 목적이 있다.
• 영상 상호작용, 토론 포럼, 퀴즈 성과를 포함한 다양한 MOOC 플랫폼 구성 요소에서 학생 행동을 분석하는 데 목적이 있다.
• MOOC에 적합한 개념적이고 구현 가능한 학생 동기 모델을 개발하는 데 목적이 있다.
• 탈식별 프레임워크를 통해 학습 분석에서 발생하는 윤리적 및 개인정보 보호 문제를 해결하는 데 목적이 있다.
• 기술적 분석과 교육 실천 간 격차를 해소하기 위해 데이터 통찰을 교수 설계에 연결하는 데 목적이 있다.

제안 방법

• MOOC 환경에 특화된 일반적인 학습 분석 프레임워크를 개발했다.
• 오스트리아의 iMooX xMOOC 플랫폼에 학습 분석 프로토타입을 구현했다.
• 영상 상호작용, 토론 포럼 활동, 자가 평가 퀴즈, 로그인 빈도와 같은 핵심 MOOC 구성 요소에서 행동 데이터를 수집하고 분석했다.
• 시스템 성능와 사용자 행동을 평가하기 위해 사례 연구와 프로토타이핑을 수행했다.
• 개인 정보를 익명화하고 개인정보 위험을 완화하기 위해 탈식별 접근 방식을 설계하고 구현했다.
• 분석 파이프라인에 동기 모델링을 통합하여 학생의 내재적 참여를 지원했다.

실험 결과

연구 질문

• RQ1 학습 분석을 MOOC 플랫폼에 효과적으로 통합하여 학생의 참여도를 모니터링하고 향상시킬 수 있는 방법은 무엇인가?
• RQ2 영상, 포럼, 퀴즈와 같은 다양한 MOOC 구성 요소에서 학생 행동의 패턴은 어떻게 드러나는가?
• RQ3 학생의 지속 참여를 향상시키기 위해 동기 모델을 어떻게 개념화하고 구현할 수 있는가?
• RQ4 MOOC의 학습 분석에서 발생하는 윤리적 및 개인정보 보호 문제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 학습 분석은 MOOC의 교육 실천과 과정 설계에 얼마나 기여할 수 있는가?

주요 결과

• 학습 분석 프레임워크는 영상 상호작용, 포럼 게시물, 퀴즈 응시, 로그인 빈도를 포함한 모든 주요 MOOC 구성 요소에서 학생 행동을 성공적으로 캡처하고 분석했다.
• 행동 데이터를 활용한 학생 참여도 군집화가 효과적으로 이루어져 수강생 집단 내에서 뚜렷한 참여 패턴이 드러났다.
• 구현된 동기 모델은 학생의 지속 참여에 대한 실질적인 통찰을 제공하여, 동기가 지속 참여의 핵심 요인임을 시사했다.
• 탈식별 접근 방식은 개인 정보를 효과적으로 보호하면서도 분석의 유용성을 유지하여 윤리적 우려에 대한 실현 가능한 해결책을 제공했다.
• 사례 연구를 통해 분석이 과정 설계에 기여할 수 있음을 입증하여, 강사가 성과가 낮은 모듈을 식별하고 교육 전략을 조정할 수 있도록 했다.
• 연구는 데이터 소유권을 규제하고 편향된 해석을 방지하기 위한 정책 수립과 규제 프레임워크 필요성을 강조한다.