[논문 리뷰] Learning about social learning in MOOCs: From statistical analysis to generative model

Christopher G. Brinton, Mung Chiang외 4명|arXiv (Cornell University)|2013. 12. 08.

Online Learning and Analytics참고 문헌 18인용 수 28

한 줄 요약

이 논문은 참가자 참여 감소와 정보 과부하 문제를 해결하기 위해 MOOC 토론 포럼용 생성 모델을 제안한다. 통계 분석과 통합 생성 모델을 사용하여, tf-idf와 HITS보다 더 낮은 관련 없는 스레드 추천을 유도하는 관련성 순위 알고리즘을 개발하였으며, 인간 평가 결과 HITS 대비 관련 없는 추천이 50% 감소하였다.

ABSTRACT

We study user behavior in the courses offered by a major Massive Online Open Course (MOOC) provider during the summer of 2013. Since social learning is a key element of scalable education in MOOCs and is done via online discussion forums, our main focus is in understanding forum activities. Two salient features of MOOC forum activities drive our research: 1. High decline rate: for all courses studied, the volume of discussions in the forum declines continuously throughout the duration of the course. 2. High-volume, noisy discussions: at least 30% of the courses produce new discussion threads at rates that are infeasible for students or teaching staff to read through. Furthermore, a substantial portion of the discussions are not directly course-related. We investigate factors that correlate with the decline of activity in the online discussion forums and find effective strategies to classify threads and rank their relevance. Specifically, we use linear regression models to analyze the time series of the count data for the forum activities and make a number of observations, e.g., the teaching staff's active participation in the discussion increases the discussion volume but does not slow down the decline rate. We then propose a unified generative model for the discussion threads, which allows us both to choose efficient thread classifiers and design an effective algorithm for ranking thread relevance. Our ranking algorithm is further compared against two baseline algorithms, using human evaluation from Amazon Mechanical Turk. The authors on this paper are listed in alphabetical order. For media and press coverage, please refer to us collectively, as "researchers from the EDGE Lab at Princeton University, together with collaborators at Boston University and Microsoft Corporation."

연구 동기 및 목표

• 대규모 강의에서 관찰된 높은 참여 감소율을 고려할 때, MOOC 토론 포럼의 참여 감소 원인을 이해하기 위해.
• 높은 볼륨의 노이즈가 많은, 종종 과정과 관련 없는 토론으로 인한 정보 과부하 문제를 해결하기 위해.
• 토론 스레드 생성 및 확산의 역학을 잘 반영하는 생성 모델을 개발하여 분류 및 순위 매기기에 개선을 이끌기 위해.
• tf-idf와 HITS와 같은 기준 방법보다 더 효과적으로 과정 관련 스레드를 식별할 수 있는 관련성 순위 알고리즘을 설계하기 위해.
• Amazon Mechanical Turk를 통한 인간 평가를 통해 제안된 순위 알고리즘의 효과성을 검증하기 위해.

제안 방법

• 포럼 게시물 수의 시계열 데이터를 바탕으로 선형 회귀 분석을 수행하여 참여량과 감소율에 영향을 주는 요인을 규명하기 위한 통계 분석.
• 시간적 동적 특성과 콘텐츠 특성을 모두 반영하는 토론 스레드를 위한 통합 생성 모델 개발.
• 생성 모델 기반의 스레드 분류 시스템 설계를 통해 노이즈 및 관련 없는 콘텐츠를 걸러내기 위해.
• 생성 모델에서 유도된 권위 점수를 활용하여 과정 관련 스레드를 우선순위로 정렬하는 관련성 순위 알고리즘 개발.
• Human evaluation을 통해 Mechanical Turk에서 제안된 알고리즘을 tf-idf와 HITS 기준과 비교하여 상위 순위 스레드의 관련성 평가.
• 실시간 스레드 순위 매기기 시뮬레이션을 위해 10일 간격 윈도우링 기법과 워밍 및 쿼리 기간을 활용한 방법.

실험 결과

연구 질문

• RQ1 MOOC 토론 포럼의 참여는 시간이 지남에 따라 얼마나 빠르게 감소하는가? 그리고 이 감소에 영향을 주는 행동적 요인은 무엇인가?
• RQ2 전반적인 활동 감소에도 불구하고 지속적인 토론 활동을 유지하는 데 영향을 주는 요인은 무엇인가?
• RQ3 MOOC 토론 스레드의 생성 과정을 효과적인 분류 및 관련성 순위 매기기 지원이 가능한 방식으로 모델링할 수 있는가?
• RQ4 제안된 순위 알고리즘이 tf-idf와 HITS보다 관련 있는 과정 관련 토론을 어떻게 더 잘 식별하는가?
• RQ5 기존 기준 방법 대비 제안된 모델이 관련 없는 스레드 추천을 얼마나 줄이는가?

주요 결과

• 강사의 참여는 토론 활동량을 증가시키지만, 포럼 활동의 감소 속도를 늦추지는 못한다.
• 제안된 순위 알고리즘이 HITS 기준 대비 58%의 관련 없는 스레드 추천 감소를 이룩하였으며, 차이 집합에서 111개의 관련 없는 스레드가 있었고, HITS는 262개였다.
• tf-idf와 비교했을 때, 제안된 알고리즘은 차이 집합에서 64개의 관련 없는 스레드를 추천하였고, tf-idf는 104개를 추천하여 관련성에서 40% 향상된 것으로 나타났다.
• 생성 모델은 스레드 생성의 핵심 역학을 효과적으로 반영하여, 토론 콘텐츠의 효과적인 걸러내기 및 순위 매기기 가능성을 제공한다.
• Amazon Mechanical Turk를 통한 인간 평가 결과, 제안된 알고리즘이 tf-idf와 HITS 모두를 일관되게 뛰어넘어 관련 있는 과정 관련 토론을 더 잘 식별하는 것으로 확인되었다.
• 정보 과부하와 비관련 콘텐츠가 흔한 MOOC 포럼 환경에서는 콘텐츠 기반 순위 매기기가 인기 기반 순위 매기기(HITS)보다 더 효과적임을 모델이 입증하였다.