[論文レビュー] RiPLE: Recommendation in Peer-Learning Environments Based on Knowledge Gaps and Interests

Hassan Khosravi, Kendra Cooper+1 more|arXiv (Cornell University)|Apr 3, 2017

Recommender Systems and Techniques被引用数 5

ひとこと要約

RiPLE は、PeerWise のようなピア学習環境を対象としたパーソナライズドレコメンデーションシステムであり、行列分解を用いて学生の知識の空白と関心を特定し、学習リソースのパーソナライズド推薦を生成する。89% の正確性で、学生が最も深刻な知識の空白に対応するトピックを推薦できることを示しており、的確なリソース提案によって学習成果の向上が期待できる。

ABSTRACT

Various forms of Peer-Learning Environments are increasingly being used in post-secondary education, often to help build repositories of student generated learning objects. However, large classes can result in an extensive repository, which can make it more challenging for students to search for suitable objects that both reflect their interests and address their knowledge gaps. Recommender Systems for Technology Enhanced Learning (RecSysTEL) offer a potential solution to this problem by providing sophisticated filtering techniques to help students to find the resources that they need in a timely manner. Here, a new RecSysTEL for Recommendation in Peer-Learning Environments (RiPLE) is presented. The approach uses a collaborative filtering algorithm based upon matrix factorization to create personalized recommendations for individual students that address their interests and their current knowledge gaps. The approach is validated using both synthetic and real data sets. The results are promising, indicating RiPLE is able to provide sensible personalized recommendations for both regular and cold-start users under reasonable assumptions about parameters and user behavior.

研究の動機と目的

• 大規模なピア学習環境において、学生が関連性の高いパーソナライズドレコメンデーションリソースを見つけるのが困難であるという課題に対処すること。
• 知識の空白の特定と関心プロファイルの統合を組み合わせたレコメンデーションシステムを開発し、学生の学習効率と関与度を向上させること。
• 通常ユーザーと新規ユーザー（コールドスタートユーザー）の両方を対象とした、行列分解に基づくアプローチの有効性を検証すること。
• 実データと合成データを用いて、システムの推薦が実際の学生の知識の空白とどの程度一致するかを評価すること。
• 教育技術の文脈において、RiPLE がデータドリブンなパーソナライズドレコメンデーションを通じて学習成果の向上を実現する可能性を検討すること。

提案手法

• RiPLE は、学生と質問の相互作用をモデル化するために行列分解を採用し、履歴データから潜在的な知識プロファイルを推定する。
• 予測された学生のパフォーマンスと実際のパフォーマンスを比較することで、知識の空白行列を構築し、学生が成績を上げられていないトピックを特定する。
• 学生の相互作用履歴から得られる関心プロファイルと知識の空白スコアを組み合わせることで、パーソナライズドレコメンデーションを計算する。
• 協調フィルタリングと行列分解を組み合わせることで、知識の空白に適合するだけでなく、ユーザーの関心とも整合するレコメンデーションを生成する。
• モデルは、合成データと、学部レベルの C 言語プログラミングコースにおける実際の PeerWise データセットの両方で訓練および検証された。
• 将来の拡張のため、データ内のタイムスタンプを考慮し、時間経過に伴う学生の知識の変化をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 行列分解に基づくレコメンデーションシステムは、ピア学習環境において、個々の学生の知識の空白を的確に特定し、それに対応するリソースを推薦できるか？
• RQ2 RiPLE は、通常ユーザーと新規ユーザー（コールドスタートユーザー）の両方に対して、パーソナライズドレコメンデーションをどの程度効果的に提供できるか？
• RQ3 RiPLE のレコメンデーションは、実際の学生の知識の空白や学習成果とどの程度相関しているか？
• RQ4 クラス全体の弱みに偏らないように、レコメンデーションの多様性をどのように維持しているか？
• RQ5 制御された A/B テストにおいて、RiPLE のレコメンデーションが学生の学習に測定可能な改善をもたらすか？

主な発見

• RiPLE は、最終試験の成績と相関する知識の空白を的確に特定し、学生のプロファイル作成の正確性を示した。
• 89% の学生が、自身の最も深刻な知識の空白に対応する少なくとも1つのレコメンデーションを受け取り、提案の関連性の高さを示した。
• 1回のテストで 99 種類の異なる質問がレコメンデーションされ、共通の弱みに偏ることなく多様性を保った。
• 合成データにおいて、さまざまなパrameter設定下でもモデルが頑健に動作したため、実世界への展開における信頼性が裏付けられた。
• RiPLE は、膨大なコンテンツリポジトリを持つ大規模なピア学習環境でも、パーソナライズドで有用なレコメンデーションを提供できる可能性を示唆している。
• 今後、RiPLE のレコメンデーションがランダムな推薦と比較して、測定可能な学習の向上をもたらすかどうかを検証する A/B 実験を計画している。