[论文解读] ITM-Rec: An Open Data Set for Educational Recommender Systems

Zheng Yong|arXiv (Cornell University)|Mar 17, 2023

Recommender Systems and Techniques被引用 6

一句话总结

本文介绍了ITM-Rec，这是一个开放的教育推荐系统数据集，包含70个项目的5,230条个人评分和1,117条群体评分，数据集通过课程、学期、封锁期等上下文元数据进行丰富，涵盖多准则偏好（App、Data、Ease），以及人口统计和群体构成数据。该数据集支持在教育环境中开展上下文感知、多准则、群体及多目标推荐系统的研究。

ABSTRACT

With the development of recommender systems (RS), several promising systems have emerged, such as context-aware RS, multi-criteria RS, and group RS. However, the education domain may not benefit from these developments due to missing information, such as contexts and multiple criteria, in educational data sets. In this paper, we announce and release an open data set for educational recommender systems. This data set includes not only traditional rating entries, but also enriched information, e.g., contexts, user preferences in multiple criteria, group compositions and preferences, etc. It provides a testbed and enables more opportunities to develop and examine various educational recommender systems.

研究动机与目标

• 解决推荐系统研究中缺乏包含上下文和多准则用户偏好的综合性教育数据集的问题。
• 为开发和评估教育领域中的先进推荐系统提供测试平台。
• 通过真实世界的教育数据，支持在上下文感知、多准则、群体及多目标推荐系统方面的研究。
• 通过提供来自数据管理与分析专业研究生的匿名纵向数据，支持个性化学习工具的开发。
• 促进对灰色羊用户（grey sheep users）及教育项目选择中群体决策动态的研究。

提出的方法

• 数据通过2017至2022年间在三个课程（DB、DA、DS）中对476名研究生使用Qualtrics调查收集。
• 个人偏好通过整体满意度以及三个准则（App：应用领域，Data：数据处理，Ease：易用性）的评分收集。
• 每条评分均记录了上下文元数据，包括课程、学期（春季/秋季）以及封锁期（PRE、DUR、POS）。
• 群体偏好通过第二轮调查收集，各团队在讨论后提交一条汇总评分，以捕捉集体决策过程。
• 还收集了人口统计信息（年龄、性别、婚姻状况）和项目级特征（标题、URL、描述），并进行了匿名化处理。
• 数据集结构化为五个文件：Users.csv、Items.csv、Ratings.csv、Group_ratings.csv 和 Group.csv，托管于GitHub和Kaggle。

实验结果

研究问题

• RQ1 如何利用不同学期和外部事件（如封锁期）中的真实用户评分，在教育环境中评估上下文感知推荐系统？
• RQ2 多准则偏好（App、Data、Ease）在多大程度上能提升教育推荐系统的准确性和个性化程度？
• RQ3 在教育项目选择中，群体偏好与个人偏好有何差异？哪些因素影响群体决策？
• RQ4 群体推荐系统能否有效利用聚合的个人输入来建模集体偏好？
• RQ5 多目标推荐系统如何整合上下文、多准则和群体因素，以优化教育推荐？

主要发现

• ITM-Rec数据集包含来自476名不同学生的5,230条个人评分，覆盖70个教育项目，具有详细的多准则和上下文元数据。
• 共有1,117条群体评分，来自143个独立群体，群体规模在2至5名学生之间，反映了教育项目中的协作决策过程。
• 数据集涵盖从2017年秋季至2022年秋季的纵向数据，包括疫情前（PRE）、疫情期间封锁期（DUR）和疫情后（POS）三个阶段。
• 每条评分均明确记录了课程（DB、DA、DS）、学期和封锁状态等上下文变量，支持上下文感知分析。
• 数据集包含人口统计和项目级元数据，支持对教育推荐中用户多样性与项目特征的研究。
• 该数据集已公开发布于GitHub和Kaggle，确保在教育推荐系统研究中具备广泛可及性和可复现性。