[论文解读] Indian Regional Movie Dataset for Recommender Systems

Prerna Agarwal, Richa Verma+1 more|arXiv (Cornell University)|Jan 7, 2018

Recommender Systems and Techniques参考文献 10被引用 4

一句话总结

本论文提出了首个全面的印度区域电影数据集，包含来自919名用户的10,000条评分，覆盖18种印度语言的2,851部区域电影，并整合了用户人口统计信息和电影元数据。通过使用监督式与非监督式协同过滤技术（如概率矩阵分解和盲压缩感知），研究结果表明，引入元数据可显著提升评分预测的准确性，该数据集在印度区域电影数据集上的平均绝对误差（MAE）最低，证明其在构建区域化推荐系统基准测试中的重要价值。

ABSTRACT

Indian regional movie dataset is the first database of regional Indian movies, users and their ratings. It consists of movies belonging to 18 different Indian regional languages and metadata of users with varying demographics. Through this dataset, the diversity of Indian regional cinema and its huge viewership is captured. We analyze the dataset that contains roughly 10K ratings of 919 users and 2,851 movies using some supervised and unsupervised collaborative filtering techniques like Probabilistic Matrix Factorization, Matrix Completion, Blind Compressed Sensing etc. The dataset consists of metadata information of users like age, occupation, home state and known languages. It also consists of metadata of movies like genre, language, release year and cast. India has a wide base of viewers which is evident by the large number of movies released every year and the huge box-office revenue. This dataset can be used for designing recommendation systems for Indian users and regional movies, which do not, yet, exist. The dataset can be downloaded from \href{https://goo.gl/EmTPv6}{https://goo.gl/EmTPv6}.

研究动机与目标

• 为解决现有推荐系统主要聚焦好莱坞和主流内容而对印度区域电影支持不足的问题，填补该领域专用数据集的空白。
• 收集并结构化大规模、多样化的用户评分、用户人口统计信息（年龄、职业、家乡省份、语言）以及电影元数据（类型、语言、上映年份、演员阵容、IMDb评分），涵盖印度区域电影。
• 评估协同过滤技术（包括监督式与非监督式）在该新数据集上的性能，以检验其在构建面向印度观众的高精度个性化推荐系统方面的实用性。
• 提供一个基准数据集，使研究人员能够开发并测试能够反映印度语言与人口多样性、特别是针对代表性不足的区域电影类型的推荐算法。

提出的方法

• 开发了一个网络门户以收集用户数据，包括电子邮箱、出生日期、性别、家乡省份、掌握的语言及职业，从而实现人口统计元数据的收集。
• 用户以“喜欢/不喜欢”（1/-1）的评分尺度对区域电影进行评分，形成一个约10,000条评分的稀疏评分矩阵，覆盖919名用户和2,851部电影。
• 从公开来源整理电影元数据，如类型、语言、上映年份、导演、演员阵容和IMDb评分，以丰富数据集。
• 采用改进的矩阵分解框架实现监督式协同过滤，通过独热编码向量和类别标签约束整合用户与项目元数据。
• 该方法最小化一个正则化目标函数，结合预测误差的Frobenius范数、用户与项目正则化项以及分类一致性项（如 $\mu_u||W - UC||_{frob}$），并使用l曲线法调优正则化参数。
• 为进行对比，应用了非监督技术如用户-用户余弦相似度、概率矩阵分解（PMF）和盲压缩感知，并在五折交叉验证中通过MAE和RMSE评估性能。

实验结果

研究问题

• RQ1 与Movielens等成熟基准相比，协同过滤技术在新收集的印度区域电影数据集上的表现如何？
• RQ2 在印度区域电影的稀疏推荐系统中，整合用户与项目元数据在多大程度上能提升评分预测的准确性？
• RQ3 在印度区域电影推荐背景下，结合类别标签约束的监督式矩阵分解能否减轻评分稀疏性的影响并提升预测鲁棒性？
• RQ4 在不同协同过滤算法下，印度区域电影数据集与Movielens 100K和1M在预测误差指标（MAE与RMSE）上的表现如何比较？
• RQ5 元数据编码方式（如多语言用户的一般化独热向量）对基于该数据集训练的推荐模型的泛化能力与准确性有何影响？

主要发现

• 在多种协同过滤技术下，印度区域电影数据集的平均绝对误差（MAE）低于所有测试数据集，包括Movielens 100K与1M，表明其在该领域具有更优的预测性能。
• 整合用户与项目元数据的监督式协同过滤技术优于非监督方法（如基础余弦相似度与标准矩阵分解），尤其在高稀疏性场景下表现更优。
• 概率矩阵分解（PMF）与盲压缩感知在该区域数据集上表现强劲，其中PMF取得最低的MAE，凸显其在稀疏、多样化且语言异质性高的数据中的有效性。
• 使用独热编码的元数据（如语言与用户人口统计信息）有助于更好地建模用户偏好，并提升潜在因子表示的泛化能力。
• l曲线法成功确定了最优正则化参数，增强了监督式矩阵分解框架中的模型稳定性并减少了过拟合。
• 该数据集的高稀疏性与丰富的元数据使其特别适合测试先进方法（如PMF与盲压缩感知），这些方法利用结构先验来提升预测性能。