[论文解读] A Brief History of Recommender Systems

Zhenhua Dong, Zhe Wang+3 more|arXiv (Cornell University)|Sep 5, 2022

Recommender Systems and Techniques被引用 6

一句话总结

本文提供了网络推荐系统全面的历史概述，追溯了推荐模型的演变——从协同过滤到深度学习——以及工业级三层架构的发展。文章强调了关键里程碑、技术转型和未来趋势，特别关注以用户为中心的设计、多模态学习和负责任的AI在推荐系统中的应用。

ABSTRACT

Soon after the invention of the Internet, the recommender system emerged and related technologies have been extensively studied and applied by both academia and industry. Currently, recommender system has become one of the most successful web applications, serving billions of people in each day through recommending different kinds of contents, including news feeds, videos, e-commerce products, music, movies, books, games, friends, jobs etc. These successful stories have proved that recommender system can transfer big data to high values. This article briefly reviews the history of web recommender systems, mainly from two aspects: (1) recommendation models, (2) architectures of typical recommender systems. We hope the brief review can help us to know the dots about the progress of web recommender systems, and the dots will somehow connect in the future, which inspires us to build more advanced recommendation services for changing the world better.

研究动机与目标

• 按时间顺序记录网络推荐系统的发展，重点关注模型进步和系统架构。
• 识别塑造推荐系统演进的关键技术力量和应用驱动因素。
• 分析推荐研究中从以准确率为重心到以用户为中心的评估方式的转变。
• 预测推荐系统未来的发展方向，包括预训练模型、多模态学习和因果推理。
• 为研究人员和从业者提供推荐系统历史与技术演进路径的基准参考。

提出的方法

• 追溯推荐系统自1990年代以来的历史，始于1992年的Tapestry和1994年的GroupLens，这两项工作开创了协同过滤技术。
• 回顾推荐模型的演进，包括用户-物品协同过滤、矩阵分解（SVD）以及后续的深度学习模型，如Wide & Deep、DeepFM、YouTubeDNN、DIN和DIEN。
• 分析工业级三层架构的出现：离线（模型训练）、在线服务（实时推理）和近线（实时特征/模型更新）。
• 探讨特征工程与表征学习的作用，包括因子分解机（FMs）、样本场感知因子分解机（FFMs），以及FuxiCTR等开放基准以确保可复现性。
• 讨论评估范式向以用户为中心的转变，以及因果推断、知识图谱和可解释性在现代推荐系统中的整合。
• 提出未来研究方向，包括多模态预训练、自监督学习，以及对话式和通用智能助手的开发。

实验结果

研究问题

• RQ1 在过去三十年中，推荐模型如何从协同过滤演进到深度学习？
• RQ2 现代工业推荐系统的关键架构组件是什么？它们如何支持实时和可扩展的推荐？
• RQ3 哪些技术和应用驱动的力量推动了推荐系统的演进？
• RQ4 推荐系统的评估方式如何从基于准确性的指标转向以用户为中心和负责任的指标？
• RQ5 哪些未来趋势——如预训练、多模态学习和因果建模——可能塑造下一代推荐系统？

主要发现

• GroupLens项目（1997年）和MovieLens数据集的发布成为学术研究的基石，为推荐研究建立了广泛使用的基准。
• 协同过滤，特别是SVD和SVD++等矩阵分解模型，在Netflix Prize（2006–2009年）之后取得了显著的性能提升。
• 逻辑回归及其扩展（如FFM）在工业级点击率预测中占据主导地位，得益于特征工程和优化技术的改进。
• 深度学习模型如Wide & Deep、DeepFM和YouTubeDNN在YouTube和移动应用等大规模应用场景中显著提升了推荐准确性。
• 三层工业架构——离线、在线和近线——已成为标准，有效平衡了训练效率、实时推理和动态特征更新。
• 未来推荐系统预计将整合多模态预训练、因果推理和可解释性，以提升公平性、透明度和长期用户收益。