[論文レビュー] Learning about social learning in MOOCs: From statistical analysis to generative model

Christopher G. Brinton, Mung Chiang+4 more|arXiv (Cornell University)|Dec 8, 2013

Online Learning and Analytics参考文献 18被引用数 28

ひとこと要約

本稿では、参加者の減少と情報過多の問題に対処するため、MOOCのディスカッションフォーラム向けに生成モデルを提案する。統計的分析と統合的生成モデルを用いて、tf-idf や HITS よりも不適切なスレッド推薦を低減する関連性順位付けアルゴリズムを開発した。人的評価では、HITS と比較して不適切な推薦が50％削減された。

ABSTRACT

We study user behavior in the courses offered by a major Massive Online Open Course (MOOC) provider during the summer of 2013. Since social learning is a key element of scalable education in MOOCs and is done via online discussion forums, our main focus is in understanding forum activities. Two salient features of MOOC forum activities drive our research: 1. High decline rate: for all courses studied, the volume of discussions in the forum declines continuously throughout the duration of the course. 2. High-volume, noisy discussions: at least 30% of the courses produce new discussion threads at rates that are infeasible for students or teaching staff to read through. Furthermore, a substantial portion of the discussions are not directly course-related. We investigate factors that correlate with the decline of activity in the online discussion forums and find effective strategies to classify threads and rank their relevance. Specifically, we use linear regression models to analyze the time series of the count data for the forum activities and make a number of observations, e.g., the teaching staff's active participation in the discussion increases the discussion volume but does not slow down the decline rate. We then propose a unified generative model for the discussion threads, which allows us both to choose efficient thread classifiers and design an effective algorithm for ranking thread relevance. Our ranking algorithm is further compared against two baseline algorithms, using human evaluation from Amazon Mechanical Turk. The authors on this paper are listed in alphabetical order. For media and press coverage, please refer to us collectively, as "researchers from the EDGE Lab at Princeton University, together with collaborators at Boston University and Microsoft Corporation."

研究の動機と目的

• 大規模なコースにおいて観察される高い参加率の低下率に起因する要因を理解すること。
• 高頻度でノイズが多く、しばしばコース関連のないフォーラム議論に起因する情報過多の問題に対処すること。
• 議論スレッドの作成と拡散のダイナミクスを捉える生成モデルを構築し、分類と順位付けの改善を図ること。
• tf-idf や HITS といったベースライン手法よりも、コース関連のスレッドをより効果的に特定できる関連性順位付けアルゴリズムを設計すること。
• Amazon Mechanical Turk を用いた人的評価を通じて、提案された順位付けアルゴリズムの有効性を検証すること。

提案手法

• フォーラム投稿数の時系列データを用いた線形回帰分析により、参加量や参加率低下に影響する要因を同定する。
• スレッドの時間的ダイナミクスとコンテンツ特徴を捉える統合的生成モデルの開発。
• 生成モデルに基づくスレッド分類システムの設計により、ノイズや関連のないコンテンツをフィルタリングする。
• 生成モデルから導出された権威スコアを用いて関連性順位付けアルゴリズムを構築し、コース関連のスレッドを優先順位付けする。
• 人的評価（Mechanical Turk で実施）により、提案アルゴリズムと tf-idf や HITS のベースラインを比較し、上位スレッドの関連性を評価する。
• 動的な MOOC 環境におけるリアルタイムのスレッド順位付けを模擬するため、10日間のウィンドウ処理を用い、ウォームアップ期間とクエリ期間を設定する。

実験結果

リサーチクエスチョン

• RQ1 MOOCフォーラムにおける参加は、時間経過とともにどの程度速やかに減少するのか。また、その低下に影響を与える行動的要因は何か。
• RQ2 全体的な活動低下にもかかわらず、議論の活動量が維持される要因は何か。
• RQ3 MOOCフォーラムスレッドの生成プロセスを、効果的な分類と関連性順位付けを支援する形でモデル化できるか。
• RQ4 提案された順位付けアルゴリズムは、tf-idf や HITS と比較して、関連性の高いコース関連の議論をどの程度効果的に特定できるか。
• RQ5 ベースライン手法と比較して、提案モデルは不適切なスレッドの推薦をどの程度低減できるか。

主な発見

• 教員の参加は議論の活動量を増加させるが、フォーラム活動の低下率を遅くはしない。
• 提案された順位付けアルゴリズムは、HITS ベースラインと比較して、不適切なスレッドの推薦数を58％削減した。差分集合では111件の不適切スレッドが報告されたが、HITS では262件であった。
• tf-idf と比較すると、差分集合における不適切スレッドは64件にとどまり、tf-idf では104件であった。これは関連性の向上に40％の改善が見られたことを示す。
• 生成モデルは、スレッド作成の主要なダイナミクスを的確に捉えており、議論コンテンツの効果的なフィルタリングと順位付けを可能にした。
• Amazon Mechanical Turk を用いた人的評価により、提案アルゴリズムが tf-idf や HITS と比較して、常に関連性の高いコース関連の議論をより効果的に特定できることを確認した。
• 本モデルは、ノイズが多く、オフトピックなコンテンツが多発するMOOCフォーラムにおいて、人気ベースの順位付け（HITS）よりもコンテンツベースの関連性順位付けがより効果的であることを示している。