[論文レビュー] ITM-Rec: An Open Data Set for Educational Recommender Systems

Zheng Yong|arXiv (Cornell University)|Mar 17, 2023

Recommender Systems and Techniques被引用数 6

ひとこと要約

本論文では、70件のアイテムに対して5,230件の個別評価および1,117件のグループ評価を含む、教育用レコメンデーションシステムのオープンデータセットであるITM-Recを紹介する。このデータセットは、コース、学期、ロックダウン期間を含む文脈的メタデータ、複数基準の好み（App、Data、Ease）、および人口統計的・グループ構成データを豊富に含んでいる。このデータセットにより、教育的環境における文脈対応型、多基準型、グループ型、および多目的レコメンデーションシステムの研究が可能になる。

ABSTRACT

With the development of recommender systems (RS), several promising systems have emerged, such as context-aware RS, multi-criteria RS, and group RS. However, the education domain may not benefit from these developments due to missing information, such as contexts and multiple criteria, in educational data sets. In this paper, we announce and release an open data set for educational recommender systems. This data set includes not only traditional rating entries, but also enriched information, e.g., contexts, user preferences in multiple criteria, group compositions and preferences, etc. It provides a testbed and enables more opportunities to develop and examine various educational recommender systems.

研究の動機と目的

• レコメンデーションシステム研究において、文脈的および多基準的ユーザー好みを備えた包括的な教育データセットの不足に対処すること。
• 教育分野における高度なレコメンデーションシステムの開発および評価のためのテストベッドを提供すること。
• 実世界の教育データを用いて、文脈対応型、多基準型、グループ型、および多目的レコメンデーションシステムの研究を可能にすること。
• データ管理およびアナリティクスの院生から得た匿名化され長期的なデータを提供することで、パーソナライズドラーニングツールの開発を支援すること。
• 教育的プロジェクト選定におけるグレイシープ（異質なユーザー）とグループ意思決定ダイナミクスの研究を促進すること。

提案手法

• 2017年から2022年までの3つのコース（DB、DA、DS）の476名の院生を対象に、Qualtricsを用いたアンケート調査によりデータ収集。
• 個別好みは、全体満足度および3つの基準（App：応用分野、Data：データ処理、Ease：使いやすさ）に関する評価を通じて収集。
• 各評価に対して、コース、学期（春/秋）、およびロックダウン期間（PRE、DUR、POS）を含む文脈的メタデータを記録。
• グループ好みは、議論を経て1つの統合評価を提出する2番目のアンケートを通じて収集され、集団的意思決定を捉える。
• 人口統計情報（年齢、性別、婚姻状態）およびアイテムレベルの特徴（タイトル、URL、説明）も収集され、匿名化処理が施された。
• データセットは5つのファイル（Users.csv、Items.csv、Ratings.csv、Group_ratings.csv、Group.csv）に構造化されており、GitHubおよびKaggleにホスティングされている。

実験結果

リサーチクエスチョン

• RQ1 異なる学期およびパンデミックのような外部イベント（ロックダウン）を含む、実際のユーザー評価を用いた教育的環境における文脈対応型レコメンデーションシステムの評価方法は何か？
• RQ2 多基準的好み（App、Data、Ease）は、教育的レコメンデーションシステムの精度およびパーソナライズド化をどの程度向上させるか？
• RQ3 教育的プロジェクト選定において、グループ好みは個別好みとどのように異なるのか。また、グループ意思決定に影響を与える要因は何か？
• RQ4 集約された個別入力を用いて、グループレコメンデーションシステムは集団の好みを効果的にモデル化できるか？
• RQ5 多目的レコメンデーションシステムは、文脈、多基準、およびグループ要因を統合して、教育的レコメンデーションを最適化できるか？

主な発見

• ITM-Recデータセットには、70件の教育的アイテムに対して476名の異なる学生が行った5,230件の個別評価と、詳細な多基準および文脈的メタデータが含まれている。
• 143の異なるグループから得られた1,117件のグループ評価があり、グループ構成は2人から5人までで、教育的プロジェクトにおける協働意思決定を反映している。
• データセットは2017年秋から2022年秋にかけての長期的データをカバーしており、パンデミック前（PRE）、パンデミック中（DUR）、パンデミック後（POS）の期間を含む。
• 各評価に対して、コース（DB、DA、DS）、学期、ロックダウン状態といった文脈変数が明示的に記録されており、文脈対応分析が可能である。
• 人口統計的およびアイテムレベルのメタデータが含まれており、教育的レコメンデーションにおけるユーザー多様性とアイテム特性に関する研究を支援する。
• データセットはGitHubおよびKaggleに公開されており、教育的レコメンデーションシステム分野における再現可能性の高い研究を促進する。