[论文解读] Large Scale Analysis of Open MOOC Reviews to Support Learners' Course Selection

Manuel J. Gómez, Mario Calderón+3 more|arXiv (Cornell University)|Jan 11, 2022

Online Learning and Analytics被引用 4

一句话总结

本研究利用自然语言处理技术，对五个平台上的240万条开放MOOC评论进行分析，以改进课程选择。研究发现，评分存在严重偏差（63%为5星），情感分析确认80.8%至83.8%的评论为正面情感，主题建模揭示了课程适用性和难度等关键主题，从而实现更透明、数据驱动的课程推荐。

ABSTRACT

The recent pandemic has changed the way we see education. It is not surprising that children and college students are not the only ones using online education. Millions of adults have signed up for online classes and courses during last years, and MOOC providers, such as Coursera or edX, are reporting millions of new users signing up in their platforms. However, students do face some challenges when choosing courses. Though online review systems are standard among many verticals, no standardized or fully decentralized review systems exist in the MOOC ecosystem. In this vein, we believe that there is an opportunity to leverage available open MOOC reviews in order to build simpler and more transparent reviewing systems, allowing users to really identify the best courses out there. Specifically, in our research we analyze 2.4 million reviews (which is the largest MOOC reviews dataset used until now) from five different platforms in order to determine the following: (1) if the numeric ratings provide discriminant information to learners, (2) if NLP-driven sentiment analysis on textual reviews could provide valuable information to learners, (3) if we can leverage NLP-driven topic finding techniques to infer themes that could be important for learners, and (4) if we can use these models to effectively characterize MOOCs based on the open reviews. Results show that numeric ratings are clearly biased (63\% of them are 5-star ratings), and the topic modeling reveals some interesting topics related with course advertisements, the real applicability, or the difficulty of the different courses. We expect our study to shed some light on the area and promote a more transparent approach in online education reviews, which are becoming more and more popular as we enter the post-pandemic era.

研究动机与目标

• 解决当前MOOC生态系统中缺乏标准化、透明的评论系统的问题，该系统目前排除了90%的非完成学习者。
• 探究开放评论——尤其是文本评论——是否能为学习者选择课程提供具有区分度且可操作的见解。
• 开发基于NLP的模型，从开放MOOC评论中提取情感和主题特征，以改善课程表征。
• 评估情感、数值评分与主题建模之间的一致性，以支持基于证据的课程推荐。
• 推动更透明、去中心化且以学习者为中心的MOOC评论系统，以应对评分偏差和选择过载问题。

提出的方法

• 从五个主要平台（如Coursera、edX）收集并分析了240万条开放MOOC评论，包含数值评分和自由文本评论。
• 应用三种预训练的NLP情感分析模型（来自Hugging Face、VADER和TextBlob）将文本评论分类为正面、中性或负面情感。
• 使用潜在狄利克雷分布（LDA）对两组不同的词汇集进行主题建模：(1) 质性描述词（如“fun”、“informative”），(2) 内容相关术语（如“programming”、“cloud computing”）。
• 计算情感综合得分，并将其与数值评分相关联，以评估定量与定性反馈之间的一致性。
• 绘制数据集中主题分布，以识别频繁讨论的主题及其情感关联。
• 通过将主题聚类与课程内容对比，并评估代表性MOOC中情感-主题的一致性，验证模型输出。

实验结果

研究问题

• RQ1 考虑到可能存在评分膨胀，MOOC中的数值评分在多大程度上能为学习者提供具有区分度的信息？
• RQ2 基于NLP的情感分析能否为文本评论提供可靠且互补于数值评分的见解？
• RQ3 对开放评论进行主题建模能否揭示与课程质量、适用性或难度相关的有意义、学习者驱动的主题？
• RQ4 高分与低分MOOC之间的情感与主题模式有何差异，能否更有效地用于课程表征？
• RQ5 情感与主题建模结果的整合是否能改善课程推荐系统并降低学习者搜索成本？

主要发现

• 63%的数值评分为5星，表明评分系统存在显著的正向偏差，扭曲了课程的感知。
• 三种不同情感分析模型均将80.8%至83.8%的文本评论分类为正面情感，证实情感与高分之间存在强烈一致性。
• 对质性描述词的主题建模揭示了“informative_easy_fun”、“money_worth_ad”和“slide_powerpoint_visual”等重复出现的主题，反映了学习者对课程体验的感知。
• 基于内容的主题建模识别出“Health and lifestyle”、“Programming”和“Cloud computing”等高频主题，揭示了课程的重点领域。
• 情感得分较高的课程显著更可能与“real_worth_life”等正面主题相关联，而负面情感则与“error_week_wrong”等主题相关。
• 情感与主题建模结果的整合实现了对特定MOOC的有效表征，表明两种度量可协同使用，以支持透明、数据驱动的课程选择。