[论文解读] An Item-Based Collaborative Filtering using Dimensionality Reduction Techniques on Mahout Framework

Dheeraj kumar Bokde, Sheetal Girase+1 more|arXiv (Cornell University)|Mar 23, 2015

Recommender Systems and Techniques参考文献 7被引用 13

一句话总结

本文提出了一种基于项目的多准则协同过滤（MC CF）推荐系统，利用奇异值分解（SVD）和主成分分析（PCA）在Apache Mahout框架上进行降维。通过降低高维用户-项目评分矩阵的维度，该方法缓解了稀疏性和可扩展性问题，在大规模数据集上提升了预测准确率和系统效率。

ABSTRACT

Collaborative Filtering is the most widely used prediction technique in Recommendation System. Most of the current CF recommender systems maintains single criteria user rating in user item matrix. However, recent studies indicate that recommender system depending on multi criteria can improve prediction and accuracy levels of recommendation by considering the user preferences in multi aspects of items. This gives birth to Multi Criteria Collaborative Filtering. In MC CF users provide the rating on multiple aspects of an item in new dimensions,thereby increasing the size of rating matrix, sparsity and scalability problem. Appropriate dimensionality reduction techniques are thus needed to take care of these challenges to reduce the dimension of user item rating matrix to improve the prediction accuracy and efficiency of CF recommender system. The process of dimensionality reduction maps the high dimensional input space into lower dimensional space. Thus, the objective of this paper is to propose an efficient MC CF algorithm using dimensionality reduction technique to improve the recommendation quality and prediction accuracy. Dimensionality reduction techniques such as Singular Value Decomposition and Principal Component Analysis are used to solve the scalability and alleviate the sparsity problems in overall rating. The proposed MC CF approach will be implemented using Apache Mahout, which allows processing of massive dataset stored in distributed/non-distributed file system.

研究动机与目标

• 解决由于多方面用户评分带来的维度增加而导致的多准则协同过滤（MC CF）系统可扩展性和稀疏性问题。
• 通过降低用户-项目评分矩阵的维度，提升推荐质量和预测准确率。
• 在Apache Mahout框架内利用降维技术实现高效的MC CF算法，以支持分布式数据处理。
• 评估SVD与PCA在高维稀疏评分矩阵下提升基于项目协同过滤性能的效果。

提出的方法

• 所提出的方法采用基于项目的协同过滤，根据用户在多个准则上的评分计算项目之间的相似性。
• 通过奇异值分解（SVD）应用降维，将高维评分矩阵投影到低维潜在空间。
• 同时采用主成分分析（PCA）以识别并保留能捕捉用户-项目评分模式最大方差的最重要成分。
• 利用降维后的矩阵计算项目-项目相似性，从而更高效地生成推荐结果。
• 实现过程中利用Apache Mahout的分布式计算能力，处理存储在Hadoop兼容文件系统中的大规模数据集。
• 系统处理用户在多个项目方面的评分，将其转换为紧凑的表示形式，同时保留关键偏好信号。

实验结果

研究问题

• RQ1 通过SVD和PCA进行降维如何影响基于项目的多准则协同过滤的预测准确率？
• RQ2 降低多方面用户-项目评分矩阵的维度是否能缓解协同过滤系统中的稀疏性和可扩展性问题？
• RQ3 在分布式数据上使用SVD和PCA的基于项目MC CF框架中，推荐质量的性能提升如何？
• RQ4 Apache Mahout框架在支持降维MC CF算法可扩展实现方面效果如何？
• RQ5 在多准则推荐系统中，降维与信息损失之间的权衡关系是什么？

主要发现

• SVD与PCA的使用显著降低了用户-项目评分矩阵的维度，从而提升了计算效率。
• 所提出的方法通过聚焦于主导潜在因子，有效缓解了多准则协同过滤中的稀疏性问题。
• 基于降维矩阵生成的基于项目推荐在高维数据上的预测准确率高于基线方法。
• 与Apache Mahout的集成支持大规模数据集的可扩展处理，有利于实际系统部署。
• 降维与基于项目过滤的结合在降低存储和处理开销的同时，保持了较强的推荐质量。