[논문 리뷰] Communication Communities in MOOCs

Nabeel Gillani, Rebecca Eynon외 3명|arXiv (Cornell University)|2014. 03. 18.

Online Learning and Analytics참고 문헌 30인용 수 15

한 줄 요약

이 논문은 비즈니스 전략 MOOC에서 콘텐츠 분석 데이터를 사용하여 MOOC 토론 포럼 내 의사소통 커뮤니티를 식별하기 위해 베이지안 비음수 행렬 분해(BNMF) 모델을 제안한다. BNMF가 다른 모델들보다 잠재적 토론 구조를 더 잘 포착함을 입증하며, 다양한 학습자 커뮤니티 간에 인구통계학적 특성, 참여도, 과정 성과에서 통계적으로 유의미한 차이를 드러내어 표적화된 교육적 간 interventions을 가능하게 한다.

ABSTRACT

Massive Open Online Courses (MOOCs) bring together thousands of people from different geographies and demographic backgrounds -- but to date, little is known about how they learn or communicate. We introduce a new content-analysed MOOC dataset and use Bayesian Non-negative Matrix Factorization (BNMF) to extract communities of learners based on the nature of their online forum posts. We see that BNMF yields a superior probabilistic generative model for online discussions when compared to other models, and that the communities it learns are differentiated by their composite students' demographic and course performance indicators. These findings suggest that computationally efficient probabilistic generative modelling of MOOCs can reveal important insights for educational researchers and practitioners and help to develop more intelligent and responsive online learning environments.

연구 동기 및 목표

• 대규모 MOOC 포럼 토론을 분석하기 위한 확장성 있고 확률론적 생성 모델을 개발하기 위해.
• 게시물 콘텐츠, 대화 행위, 정서, 주제, 스레드에 대한 관련성 기반으로 학습자 간의 구분되는 의사소통 커뮤니티를 식별하기 위해.
• 이러한 커뮤니티를 인구통계학적 및 성과 지표와 연결하여 MOOC 내 학습자 다양성을 이해하기 위해.
• BNMF가 온라인 토론 콘텐츠를 모델링하는 데 있어 기존 모델인 LPGM에 비해 뛰어난 대안임을 검증하기 위해.
• 글로벌 온라인 학습 환경에서 과정 설계 및 학습자 지원을 향상시키기 위한 데이터 기반 통찰을 제공하기 위해.

제안 방법

• 연구는 총 90,000명의 등록자가 있는 Coursera 비즈니스 전략 MOOC에서 수집한 6,500개의 수동으로 코딩된 포럼 게시물로 구성된 새로 구축된 데이터셋을 사용한다.
• 게시물은 다섯 가지 차원에서 코딩되었으며, 학습, 의사소통 의도, 정서, 주제, 스레드에 대한 관련성이다.
• 베이지안 비음수 행렬 분해(BNMF)를 적용하여 게시물의 콘텐츠 코딩 특성 기반으로 잠재적 커뮤니티를 추론한다.
• 모델은 음수가 아닌 해석 가능한 구성 요소를 표현하는 확률론적 생성 프레임워크를 사용하며, 이는 커뮤니티 프로파일을 나타낸다.
• 모델 성능은 추론 효율성과 적합도 지표를 사용해 LPGM 및 기타 기준 모델과 비교하여 검증되었다.
• 사용자별로 사후 추론 기반으로 커뮤니티 소속을 할당하여, 인구통계학적 및 성과 비교가 가능해졌다.

실험 결과

연구 질문

• RQ1 콘텐츠 분석 데이터를 활용해 MOOC 토론 포럼 내 잠재적 커뮤니티 구조를 효과적으로 모델링할 수 있는가?
• RQ2 학습자 커뮤니티의 특징은 의사소통 행동, 정서, 주제 집중도 측면에서 어떻게 다를 수 있는가?
• RQ3 식별된 의사소통 커뮤니티 간에 인구통계학적 요소와 과정 성과는 어떻게 다를 수 있는가?
• RQ4 BNMF가 MOOC 포럼 데이터의 의미 있는 커뮤니티 구조를 포착하는 데 있어 기존 모델을 얼마나 뛰어나게 성능을 보이는가?
• RQ5 BNMF와 같은 계산적으로 효율적인 확률론적 모델이 온라인 교육 플랫폼에서 실시간 학습자 프로파일링을 지원할 수 있는가?

주요 결과

• BNMF는 LPGM 및 기타 기준 모델 대비 포럼 콘텐츠 모델링에서 뛰어난 적합도와 계산 효율성을 보이며 슈퍼리어한 성능을 입증하였다.
• 사례 및 최종 과제 포럼에서 다섯 개의 구분되는 의사소통 커뮤니티가 식별되었으며, 각 커뮤니티는 대화 행위, 정서, 주제 참여 패턴에서 고유한 특징을 보였다.
• 사례 포럼의 '토론 주도자' 그룹은 아시아에서 온 학습자의 비율이 높아 지역 기반의 의사소통 패턴을 반영하고 있었다.
• 최종 과제 포럼의 '과제 지원 요청자' 그룹은 남미에서 온 학습자의 비율이 높아 지리적으로 집중된 협업 요청 행동을 보였다.
• 커뮤니티 간에는 과정 성과에서 뚜렷한 차이가 있었으며, '기능적 도움 요청자' 그룹은 높은 게시물 수에도 불구하고 뚜렷한 낮은 합격률을 보였다.
• 사례 포럼의 '개인주의자' 그룹은 대학원 학위 보유 비율과 합격률이 낮아 참여도 저하 또는 개별 학습을 선호하는 경향이 있을 수 있음을 시사했다.