[論文レビュー] Large Scale Analysis of Open MOOC Reviews to Support Learners' Course Selection

Manuel J. Gómez, Mario Calderón+3 more|arXiv (Cornell University)|Jan 11, 2022

Online Learning and Analytics被引用数 4

ひとこと要約

本研究では、5つのプラットフォームから得た240万件のオープンMOOCレビューを自然言語処理（NLP）技術を用いて分析し、コース選択の改善を図った。数値評価は著しくバイアスが強く（5つ星評価が63％）、感情分析では80.8％～83.8％のレビューが肯定的であることが確認された。トピックモデリングにより、コースの実用性や難易度といった主要なテーマが特定され、より透明性がありデータドリブンなコース推薦が可能になった。

ABSTRACT

The recent pandemic has changed the way we see education. It is not surprising that children and college students are not the only ones using online education. Millions of adults have signed up for online classes and courses during last years, and MOOC providers, such as Coursera or edX, are reporting millions of new users signing up in their platforms. However, students do face some challenges when choosing courses. Though online review systems are standard among many verticals, no standardized or fully decentralized review systems exist in the MOOC ecosystem. In this vein, we believe that there is an opportunity to leverage available open MOOC reviews in order to build simpler and more transparent reviewing systems, allowing users to really identify the best courses out there. Specifically, in our research we analyze 2.4 million reviews (which is the largest MOOC reviews dataset used until now) from five different platforms in order to determine the following: (1) if the numeric ratings provide discriminant information to learners, (2) if NLP-driven sentiment analysis on textual reviews could provide valuable information to learners, (3) if we can leverage NLP-driven topic finding techniques to infer themes that could be important for learners, and (4) if we can use these models to effectively characterize MOOCs based on the open reviews. Results show that numeric ratings are clearly biased (63\% of them are 5-star ratings), and the topic modeling reveals some interesting topics related with course advertisements, the real applicability, or the difficulty of the different courses. We expect our study to shed some light on the area and promote a more transparent approach in online education reviews, which are becoming more and more popular as we enter the post-pandemic era.

研究の動機と目的

• 現在、90％の非修了学習者を除外しているMOOCエコシステムにおける標準的で透明性のあるレビュー制度の欠如に対処すること。
• 特にテキストレビューであるオープンレビューが、コース選択に役立つ差別的で実行可能なインサイトを提供できるかどうかを調査すること。
• NLPを活用したモデルを構築し、オープンMOOCレビューから感情とトピックの特徴を抽出することで、コースの特徴をより良く定義すること。
• 感情、数値評価、トピックモデリングの整合性を評価し、根拠に基づいたコース推薦を支援すること。
• 評価バイアスや選択の過剰な負担に対抗するため、より透明性があり、分散型で学習者中心のMOOCレビュー制度を促進すること。

提案手法

• Coursera、edXなど5つの主要プラットフォームから、数値評価と自由記述レビューを含む240万件のオープンMOOCレビューを収集・分析した。
• Hugging Face、VADER、TextBlobの3つの事前学習済みNLP感情分析モデルを用い、テキストレビューを肯定的、中立的、否定的の3つに分類した。
• 2つの異なる語彙セット（例：「fun」、「informative」などの質的記述語、および「programming」、「cloud computing」などのコンテンツ関連語）に対して、潜在ディリクレ配分（LDA）を用いたトピックモデリングを実施した。
• 感情スコアの合成値を算出し、数値評価と相関を分析することで、定量的フィードバックと定性的フィードバックの整合性を評価した。
• データセット全体におけるトピック分布をマッピングし、頻出するテーマとその感情的関連性を特定した。
• モデル出力の妥当性を検証するため、トピッククラスタをコースの内容と照合し、代表的なMOOCにおける感情-トピックの整合性を評価した。

実験結果

リサーチクエスチョン

• RQ1 評価のインflaion（過剰評価）の可能性を考慮すると、MOOCの数値評価は学習者がコースを選ぶために十分な差別的情報を提供していると言えるか？
• RQ2 テキストレビューに対するNLPベースの感情分析は、数値評価と補完的かつ信頼性のあるインサイトを提供できるか？
• RQ3 オープンレビューに対するトピックモデリングは、コースの質、実用性、難易度に関連する意味のある、学習者主導のテーマを明らかにできるか？
• RQ4 高評価と低評価のMOOCにおける感情とトピックのパターンにどのような違いがあり、それらを組み合わせることでコースの特徴をより効果的に定義できるか？
• RQ5 感情分析とトピックモデリングの統合は、コース推薦システムの改善と学習者の検索コスト削減に寄与できるか？

主な発見

• 63％の数値評価が5つ星であったため、評価システムに顕著な肯定的バイアスが存在し、コースの評価が歪められていることが示された。
• 3つの異なる感情分析モデルが80.8％～83.8％のテキストレビューを肯定的と分類したため、感情と高評価の間には強い整合性があることが確認された。
• 質的記述語に対するトピックモデリングにより、「informative_easy_fun」、「money_worth_ad」、「slide_powerpoint_visual」などの繰り返し現れるテーマが特定され、学習者がコース体験をどのように感じているかが反映された。
• コンテンツベースのトピックモデリングにより、「Health and lifestyle」、「Programming」、「Cloud computing」などの高頻度のテーマが特定され、コースの焦点分野に関する洞察が得られた。
• 感情スコアが高いコースは、肯定的なトピック（例：「real_worth_life」）と顕著に関連しており、否定的な感情は「error_week_wrong」のようなトピックと関連していた。
• 感情分析とトピックモデリングの統合により、特定のMOOCの特徴を効果的に特定可能となった。両者の指標を併用することで、透明性がありデータドリブンなコース選択が可能であることが示された。