[논문 리뷰] Engaging with Massive Online Courses

Ashton Anderson, Daniel P. Huttenlocher외 2명|arXiv (Cornell University)|2014. 03. 12.

Online Learning and Analytics참고 문헌 10인용 수 57

한 줄 요약

이 논문은 6개의 스탠포드 커서라 과정에서 수집한 트레이스 데이터를 사용하여 대규모 개방형 온라인 강좌(MOOCs)에서 학생의 참여 스타일에 대한 분류 체계를 제안하며, 다섯 가지 명확한 행동 패턴을 규명한다. 또한 대규모 랜덤화 실험을 통해 배지 디자인이 포럼 참여에 미치는 영향을 평가하여, 배지의 시각적 두드러짐을 높일수록 참가자가 크게 증가하는 것으로 나타나, 인centive 시스템의 미세한 디자인 변화가 온라인 교육 플랫폼에서 사용자 행동에 의미 있는 영향을 미칠 수 있음을 보여준다.

ABSTRACT

The Web has enabled one of the most visible recent developments in education---the deployment of massive open online courses. With their global reach and often staggering enrollments, MOOCs have the potential to become a major new mechanism for learning. Despite this early promise, however, MOOCs are still relatively unexplored and poorly understood. In a MOOC, each student's complete interaction with the course materials takes place on the Web, thus providing a record of learner activity of unprecedented scale and resolution. In this work, we use such trace data to develop a conceptual framework for understanding how users currently engage with MOOCs. We develop a taxonomy of individual behavior, examine the different behavioral patterns of high- and low-achieving students, and investigate how forum participation relates to other parts of the course. We also report on a large-scale deployment of badges as incentives for engagement in a MOOC, including randomized experiments in which the presentation of badges was varied across sub-populations. We find that making badges more salient produced increases in forum engagement.

연구 동기 및 목표

• 기존의 강의 모델을 넘어서 MOOC 학습자들의 다양한 참여 패턴을 이해하기 위해.
• 강의 시청 및 과제 제출 빈도 기반의 데이터 기반 참여 스타일 분류 체계를 수립하기 위해.
• 포럼 참여가 성과 및 참여 스타일과 어떻게 관련되어 있는지 조사하기 위해.
• MOOC 토론 포럼에서의 학생 참여에 배지 디자인이 미치는 영향을 평가하기 위해.
• 배지 제시 방식의 차이(예: 가시성, 사회적 신호 등)가 제어된 실험을 통해 사용자 행동에 영향을 미치는지 테스트하기 위해.

제안 방법

• 저자들은 각 학생의 '과제 비율'을 계산하여, 완료된 활동 중 과제가 차지하는 비율을 측정하였다.
• 과제 비율과 강의 이수율을 기반으로 k-means 군집 분석을 수행하여 다섯 가지의 명확한 참여 스타일을 규명하였다.
• 주요 MOOC에서 대규모 랜덤화 실험을 실시하여, 하위 집단 간 배지 제시 방식을 다양화: 대조군, 마일스톤 중심, 사회적 가시성 배지.
• 실험은 치료 그룹 간 포럼 참여 변화, 즉 게시물 수와 활동 지속 시간을 측정하였다.
• 통계 분석을 통해 배지 디자인이 미치는 인과적 영향을 평가하기 위해 그룹 간 참여 수준을 비교하였다.
• 10만 명이 넘는 학생으로부터 수집된 트레이스 데이터를 활용하여, 대규모 행동 분석이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 MOOC 학습자들 사이에서 지배적이고 반복적인 참여 스타일은 무엇이며, 상호작용 패턴에서 어떻게 다릅니까?
• RQ2 다양한 참여 스타일은 학생의 성과 및 수료율과 어떻게 관련되어 있습니까?
• RQ3 배지 디자인이 MOOC 토론 포럼의 학생 참여에 얼마나 큰 영향을 미칠 수 있습니까?
• RQ4 마일스톤 강조나 사회적 가시성과 같은 배지 제시 방식의 변화가 참여에 측정 가능한 영향을 미치는가?
• RQ5 배지가 온라인 학습 행동을 동기 부여하는 데 효과적인 데에 깔린 심리적 메커니즘은 무엇입니까?

주요 결과

• 다섯 가지의 명확한 참여 스타일이 규명되었으며, 각각 '학습자', '청취자', '완료자', '수동형', '고성능'으로, 강의 시청과 과제 제출의 고유한 균형으로 정의된다.
• 과제 비율이 높은 학생일수록 더 높은 성적을 받을 가능성이 높아, 활동적인 과제 제출이 성과와 강하게 연관되어 있음을 시사한다.
• 랜덤화 실험 결과, 배지를 더 두드러지게 제시할수록(특히 마일스톤 진척 상황을 강조할수록) 포럼 참여가 증가하는 것으로 나타났다.
• 배지를 공개적으로 표시하는 '사회적 가시성' 처리 조건은 대조군 대비 통계적으로 유의미하게 포럼 활동이 증가시켰다.
• 시각적 두드러짐이나 피드백 프레임워크와 같은 배지 제시 방식의 미세한 변화조차도 사용자 행동에 측정 가능하고 유의미한 영향을 미쳤다.
• 결과적으로 배지는 단순한 장식이 아니라 전략적으로 설계될 경우 강력한 동기 부여 요소가 될 수 있으며, 그 효과를 이끌어내는 심리적 메커니즘은 복잡하고도 조정 가능한 것으로 나타났다.