[논문 리뷰] Large Scale Analysis of Open MOOC Reviews to Support Learners' Course Selection

Manuel J. Gómez, Mario Calderón외 3명|arXiv (Cornell University)|2022. 01. 11.

Online Learning and Analytics인용 수 4

한 줄 요약

이 연구는 NLP 기법을 활용해 다섯 개의 플랫폼에서 240만 건의 오픈 MOOC 리뷰를 분석하여 수강 과정 선택을 향상시키는 데 목적이 있다. 연구 결과, 수치적 평가는 심각한 편향을 보이며(5점 만점에 63%가 5점), 정서 분석 결과 리뷰의 80.8~83.8%가 긍정적임을 확인했고, 토픽 모델링을 통해 과정의 적용 가능성과 난이도와 같은 핵심 주제를 파악해 더 투명하고 데이터 기반의 수강 과정 추천이 가능해졌다.

ABSTRACT

The recent pandemic has changed the way we see education. It is not surprising that children and college students are not the only ones using online education. Millions of adults have signed up for online classes and courses during last years, and MOOC providers, such as Coursera or edX, are reporting millions of new users signing up in their platforms. However, students do face some challenges when choosing courses. Though online review systems are standard among many verticals, no standardized or fully decentralized review systems exist in the MOOC ecosystem. In this vein, we believe that there is an opportunity to leverage available open MOOC reviews in order to build simpler and more transparent reviewing systems, allowing users to really identify the best courses out there. Specifically, in our research we analyze 2.4 million reviews (which is the largest MOOC reviews dataset used until now) from five different platforms in order to determine the following: (1) if the numeric ratings provide discriminant information to learners, (2) if NLP-driven sentiment analysis on textual reviews could provide valuable information to learners, (3) if we can leverage NLP-driven topic finding techniques to infer themes that could be important for learners, and (4) if we can use these models to effectively characterize MOOCs based on the open reviews. Results show that numeric ratings are clearly biased (63\% of them are 5-star ratings), and the topic modeling reveals some interesting topics related with course advertisements, the real applicability, or the difficulty of the different courses. We expect our study to shed some light on the area and promote a more transparent approach in online education reviews, which are becoming more and more popular as we enter the post-pandemic era.

연구 동기 및 목표

• 현재 90%의 수료하지 않은 학습자를 배제하는 MOOC 생태계에서 표준화되고 투명한 리뷰 시스템의 부재를 해결한다.
• 특히 텍스트 기반 리뷰가 학습자가 과정을 선택할 때 유의미하고 실행 가능한 통찰을 제공할 수 있는지 조사한다.
• NLP 기반 모델을 개발하여 오픈 MOOC 리뷰에서 정서와 토픽 주제를 추출해 과정 특성화를 향상시킨다.
• 정서, 수치적 평가, 토픽 모델링 간의 일치성을 평가하여 근거 기반의 수강 과정 추천을 뒷받침한다.
• 평가 편향과 선택 과부하를 줄이기 위해 더 투명하고 탈중앙화되며 학습자 중심의 MOOC 리뷰 시스템을 촉진한다.

제안 방법

• 주요 플랫폼(Coursera, edX 등)에서 240만 건의 오픈 MOOC 리뷰(수치적 평가 및 자유 텍스트 리뷰 포함)를 수집하고 분석했다.
• Hugging Face, VADER, TextBlob에서 제공하는 사전 학습된 세 가지 NLP 정서 분석 모델을 활용해 텍스트 리뷰를 긍정, 중립, 부정 정서로 분류했다.
• 질적 서술어(예: '재미있음', '정보가 풍부함')와 내용 관련 용어(예: '프로그래밍', '클라우드 컴퓨팅')로 나누어 두 가지 다른 단어 집합에 대해 잠재적 디리히레 분포(Latent Dirichlet Allocation, LDA)를 사용해 토픽 모델링을 수행했다.
• 정서 복합 점수를 계산하고 수치적 평가와 상관 분석하여 정량적 및 정성적 피드백 간 일관성을 평가했다.
• 데이터셋 전반에 걸쳐 토픽 분포를 맵핑하여 자주 다뤄지는 주제와 그 정서적 연관성을 파악했다.
• 모델 출력 결과를 검증하기 위해 주요 MOOC의 과정 내용과 비교하고, 대표적인 MOOC에서 정서-토픽 일관성을 평가했다.

실험 결과

연구 질문

• RQ1 평가 과부하의 가능성이 존재하는 상황에서 MOOC의 수치적 평가는 학습자가 과정을 선택하는 데 있어 얼마나 유의미한 정보를 제공하는가?
• RQ2 텍스트 리뷰에 대한 NLP 기반 정서 분석이 수치적 평가와 함께 신뢰할 수 있고 보완적인 통찰을 제공할 수 있는가?
• RQ3 오픈 리뷰에 대한 토픽 모델링을 통해 과정의 질, 적용 가능성 또는 난이도와 관련된 의미 있는 학습자 중심의 주제를 파악할 수 있는가?
• RQ4 높은 평가와 낮은 평가를 받은 MOOC 간 정서 및 토픽 패턴은 어떻게 다를 수 있으며, 이를 통해 과정을 더 효과적으로 특성화할 수 있는가?
• RQ5 정서 및 토픽 모델링 결과의 통합은 수강 과정 추천 시스템을 향상시키고 학습자의 검색 비용을 줄일 수 있는가?

주요 결과

• 수치적 평가의 63%가 5점 만점이었으며, 이는 평가 시스템에 심각한 긍정 편향이 있음을 시사하며 과정에 대한 인식을 왜곡시킨다.
• 세 가지 다른 정서 분석 모델이 모두 텍스트 리뷰의 80.8~83.8%를 긍정으로 분류하여 정서와 높은 평가 간 강력한 일치를 확인했다.
• 질적 서술어에 대한 토픽 모델링 결과, '정보가 풍부하고 쉬운', '가성비 좋은 광고', '슬라이드가 잘 구성된 프레젠테이션'과 같은 반복적인 주제가 드러나 학습자들이 과정 경험에 대해 어떻게 인식하는지를 반영했다.
• 내용 기반 토픽 모델링을 통해 '건강 및 라이프스타일', '프로그래밍', '클라우드 컴퓨팅' 등 높은 빈도의 주제를 파악해 과정의 주요 초점을 이해하는 데 기여했다.
• 더 높은 정서 점수를 가진 과정은 '삶에 진정으로 가치 있는'과 같은 긍정적 토픽과 유의미하게 관련되어 있었고, 부정 정서는 '주차 오류'와 같은 토픽과 연관되어 있었다.
• 정서와 토픽 모델링의 통합을 통해 특정 MOOC의 효과적인 특성화가 가능했으며, 두 지표를 함께 사용해 투명하고 데이터 기반의 수강 과정 선택을 지원할 수 있음을 입증했다.