[论文解读] Contemporary Recommendation Systems on Big Data and Their Applications: A Survey

Xia, Ziyuan, Sun, Anchen+4 more|arXiv (Cornell University)|May 31, 2022

Technology and Data Analysis参考文献 98被引用 11

一句话总结

本综述对基于大数据的现代推荐系统进行了全面分析，将其分类为基于内容的、基于协同过滤的、基于知识的以及混合方法。文章探讨了Hadoop和Spark等大数据处理框架，强调了数据稀疏性和可扩展性等挑战，并指出了在提升多样性与系统效率方面未来的研究机遇。

ABSTRACT

This survey paper conducts a comprehensive analysis of the evolution and contemporary landscape of recommendation systems, which have been extensively incorporated across a myriad of web applications. It delves into the progression of personalized recommendation methodologies tailored for online products or services, organizing the array of recommendation techniques into four main categories: content-based, collaborative filtering, knowledge-based, and hybrid approaches, each designed to cater to specific contexts. The document provides an in-depth review of both the historical underpinnings and the cutting-edge innovations in the domain of recommendation systems, with a special focus on implementations leveraging big data analytics. The paper also highlights the utilization of prominent datasets such as MovieLens, Amazon Reviews, Netflix Prize, Last.fm, and Yelp in evaluating recommendation algorithms. It further outlines and explores the predominant challenges encountered in the current generation of recommendation systems, including issues related to data sparsity, scalability, and the imperative for diversified recommendation outputs. The survey underscores these challenges as promising directions for subsequent research endeavors within the discipline. Additionally, the paper examines various real-life applications driven by recommendation systems, addressing the hurdles involved in seamlessly integrating these systems into everyday life. Ultimately, the survey underscores how the advancements in recommendation systems, propelled by big data technologies, have the potential to significantly enhance real-world experiences.

研究动机与目标

• 系统回顾大数据环境中推荐系统的发展历程与当前状态。
• 对四种主要推荐技术进行分类与分析：基于内容的、基于协同过滤的、基于知识的以及混合型系统。
• 考察Hadoop和Spark等大数据平台在实现可扩展且高效的推荐处理中的作用。
• 识别并讨论现代推荐系统中的关键挑战，包括数据稀疏性、可扩展性以及推荐多样性。
• 突出开放的研究问题与未来方向，以推动推荐系统性能与个性化水平的提升。

提出的方法

• 将推荐系统分为四类主要类型：基于内容的、基于协同过滤的、基于知识的以及混合型，并提供详细的技术描述。
• 分析Hadoop和Apache Spark等大数据处理框架在可扩展推荐系统部署中的应用。
• 解释MapReduce编程模型及其在分布式集群上并行化推荐算法的应用。
• 描述Hadoop生态系统以及Spark的内存内处理能力，强调其在速度与灵活性方面相较于传统Hadoop的优势。
• 回顾数据处理流程：数据收集、数据集成、使用云计算进行分析，以及结果解释以获得可操作的洞察。
• 通过余弦相似度和调整余弦相似度等相似度度量，对比基于用户的协同过滤与基于项目的协同过滤。

实验结果

研究问题

• RQ1 推荐系统如何从传统架构演进为现代的大数据基础架构？
• RQ2 基于内容的、基于协同过滤的、基于知识的以及混合型推荐技术的优势与局限性是什么？
• RQ3 Hadoop和Spark等大数据平台如何提升现代推荐系统的可扩展性与性能？
• RQ4 哪些关键挑战——如数据稀疏性、冷启动问题和可扩展性——制约了现代推荐系统的发展？
• RQ5 未来哪些研究方向可以解决推荐系统在多样性、可扩展性与个性化方面的局限性？

主要发现

• 基于内容的推荐系统能有效捕捉个体用户偏好，但受限于人工特征工程，难以拓展用户兴趣范围。
• 基于协同过滤的系统，尤其是基于项目的变体，由于具备更好的可扩展性并减少稀疏性影响，优于基于用户的推荐方法。
• Spark等大数据框架通过利用内存计算和统一处理SQL、机器学习与流处理工作负载，可将某些工作负载的处理速度提升至Hadoop的100倍。
• Hadoop与Spark高度兼容，Spark使用HDFS进行持久化存储，使用YARN进行资源管理，支持大规模数据的混合部署。
• 尽管具有优势，协同过滤系统仍面临数据稀疏性和冷启动问题的挑战，尤其对新用户或新项目而言。
• 本综述将数据稀疏性、可扩展性与推荐多样性识别为关键挑战，认为这些领域是未来推荐系统研究的肥沃土壤。