[論文レビュー] Towards a Recommender System for Undergraduate Research

Felipe del-Rio, Denis Parra+2 more|arXiv (Cornell University)|Jun 20, 2017

Online Learning and Analytics参考文献 5被引用数 4

ひとこと要約

本論文は、学生の関心を予測し、関連する研究機会を推薦することで、大学部生の研究参加を促進するパーソナライズドレコメンデーションシステムを提案する。学生および機会の特徴を用いてGBTとロジスティック回帰を適用した結果、参加可能性が高い学生を特定する精度は72.7%に達し、レコメンデーションにおいて最大MAP=0.20を達成した。これは、学術機関にとって強固なベースラインを確立した。

ABSTRACT

Several studies indicate that attracting students to research careers requires to engage them from early undergraduate years. Following this paradigm, our Engineering School has developed an undergraduate research program that allows students to enroll in research in exchange for course credits. Moreover, we developed a web portal to inform students about the program and the opportunities, but participation remains lower than expected. In order to promote student engagement, we attempt to build a personalized recommender system of research opportunities to undergraduates. With this goal in mind we investigate two tasks. First, one that identifies students that are more willing to participate on this kind of program. A second task is generating a personalized list of recommendations of research opportunities for each student. To evaluate our approach, we perform a simulated prediction experiment with data from our School, which has more than 4,000 active undergraduate students nowadays. Our results indicate that there is a big potential to create a personalized recommender system for this purpose. Our results can be used as a baseline for colleges seeking strategies to encourage research activities within undergraduate students.

研究の動機と目的

• 大学部研究プログラムにおける参加意欲の低さに応じて、学生参加を増加させるパーソナライズドレコメンデーションシステムを開発すること。
• 学術的および履歴データに基づいて、研究機会に参加する可能性の高い学生を特定すること。
• 個々の学生のプロファイルに適合した、パーソナライズドの研究機会レコメンデーションを生成すること。
• 機械学習を用いた早期キャリア段階の研究体験における学生参加意欲の向上の可能性を評価すること。
• レコメンデーションシステムを学術支援プラットフォームに統合したい機関に対してベースラインを提供すること。

提案手法

• 2012年から2016年までの5年間のデータセット（10,546名の大学部工学部学生、1,017件の研究機会、1,624件の応募）を用いた。
• 学生参加予測を二値分類タスクとして定式化し、登録学期数、承認単位数、GPA、および過去のIPre応募履歴などの特徴を用いた。
• 研究機会のレコメンデーションをランク付け問題としてモデル化し、評価指標として平均平均精度（MAP）を用いた。
• 3つの特徴セットを用いた：(1) 基本的な学術的特徴、(2) 教授-コース連携（ht）を追加、(3) 学部コースマッチを追加。
• ロジスティック回帰（LogReg）、勾配ブースティングツリー（GBT）、サポートベクターマシン（SVM）の複数の分類器を訓練・比較した。
• 2014年以前のデータを訓練用、2014年以降のデータをテスト用として、トレイン・テスト分割を実施。性能評価には正解率、適合率、F-1スコア、MAPを用いた。

実験結果

リサーチクエスチョン

• RQ1 学生の学術的プロファイルに基づいて、どの大学部生が研究機会に参加する可能性があるかを正確に予測できるか？
• RQ2 過去のIPre応募履歴、GPA、またはコース-教授の一致といった特徴のうち、予測性能を最も向上させるのはどれか？
• RQ3 異なる機械学習モデルは、学生に適切な研究機会をどれほど効果的にレコメンドできるか？
• RQ4 コース記述と研究機会の要約の間のコンテンツ類似度を組み込むことで、レコメンデーション品質はどの程度向上するか？
• RQ5 パーソナライズドレコメンデーションシステムは、大学部研究参加の文脈において、ランダムレコメンデーションを著しく上回ることができるか？

主な発見

• 参加予測で最も優れたモデル（GBT）は、92.0%の正解率、72.7%の適合率、F-1スコア0.54を達成し、ベースラインを著しく上回った。
• 過去のIPre応募履歴を特徴に含めることで、特にGPAと組み合わせた場合に予測性能が最も向上した。
• レコメンデーションタスクにおいて、最良のモデル（フル特徴付きのLogReg）は平均平均精度（MAP）0.20を達成し、k=20におけるランダムベースライン比で14.6倍も高い結果となった。
• 研究機会を提供する教員と履修経験があるかどうか（ht特徴）を知ることは、レコメンデーション性能向上において最大の貢献をもたらした。
• 学部コースマッチ情報を追加することで、レコメンデーション品質はさらに向上したが、ht特徴ほど顕著な向上ではなかった。
• 結果から、早期の大学部研究参加を促進するためのパーソナライズドレコメンデーションシステムの実装可能性が強く示された。