[论文解读] A Survey on Incremental Update for Neural Recommender Systems

Peiyan Zhang, Sunghun Kim|arXiv (Cornell University)|Mar 6, 2023

Recommender Systems and Techniques被引用 6

一句话总结

本综述系统性地研究了神经推荐系统中的增量更新（IURS），解决了工业应用中离线批量训练与实时数据流之间的差距。它对现有方法进行了分类，分析了概念漂移和灾难性遗忘等挑战，并指出了在效率、评估和公平性方面的重要开放问题。

ABSTRACT

Recommender Systems (RS) aim to provide personalized suggestions of items for users against consumer over-choice. Although extensive research has been conducted to address different aspects and challenges of RS, there still exists a gap between academic research and industrial applications. Specifically, most of the existing models still work in an offline manner, in which the recommender is trained on a large static training set and evaluated on a very restrictive testing set in a one-time process. RS will stay unchanged until the next batch retrain is performed. We frame such RS as Batch Update Recommender Systems (BURS). In reality, they have to face the challenges where RS are expected to be instantly updated with new data streaming in, and generate updated recommendations for current user activities based on the newly arrived data. We frame such RS as Incremental Update Recommender Systems (IURS). In this article, we offer a systematic survey of incremental update for neural recommender systems. We begin the survey by introducing key concepts and formulating the task of IURS. We then illustrate the challenges in IURS compared with traditional BURS. Afterwards, we detail the introduction of existing literature and evaluation issues. We conclude the survey by outlining some prominent open research issues in this area.

研究动机与目标

• 弥合学术界对离线推荐系统的研究与工业界对实时更新需求之间的脱节。
• 将增量更新推荐系统（IURS）的任务定义为与传统批量更新推荐系统（BURS）不同的范式。
• 基于其应对的挑战（如概念漂移、灾难性遗忘、检索效率），系统性地组织并分类现有IURS方法。
• 强调超越准确率的关键评估问题，包括在线推荐系统中的公平性、多样性及流行度偏差。
• 识别开放的研究问题与未来方向，包括与持续学习及辅助信息的集成。

提出的方法

• 根据核心挑战（概念漂移、灾难性遗忘、检索效率）对IURS方法进行分类。
• 调研支持流数据更新的技巧，包括在线微调、参数隔离和梯度对齐。
• 考察减少新旧知识之间干扰的方法，如受侧向抑制启发的表征去相关性，以及用于梯度对齐的元学习。
• 回顾检索优化策略，如基于嵌入的候选采样和基于队列的负样本采样，以将推理时间复杂度从线性降低至常数。
• 提出超越准确率的评估框架，涵盖公平性、多样性和偏差缓解等维度。
• 将IURS与更广泛的推荐系统研究领域（如混合推荐、跨域推荐和上下文感知推荐）相联系，并建议与持续学习的集成。

实验结果

研究问题

• RQ1 与传统批量更新推荐系统（BURS）相比，设计增量更新推荐系统（IURS）的关键差异与挑战是什么？
• RQ2 如何在避免灾难性遗忘和概念漂移的前提下，高效地使用流数据更新神经推荐模型？
• RQ3 在大规模检索场景中，有哪些最有效的技术可减少IURS中的推理时间？
• RQ4 如何将IURS的评估指标扩展至准确率之外，以涵盖公平性、多样性和偏差缓解？
• RQ5 在与持续学习、辅助信息及跨域推荐集成方面，有哪些有前景的研究方向？

主要发现

• 现有的神经推荐系统主要以离线批量方式训练，导致对新用户交互的响应延迟。
• IURS在现实应用中至关重要，因为推荐必须即时适应新数据，如用户点击或新商品上架。
• 如表征去相关性和梯度对齐等技术有助于在增量更新过程中减少灾难性遗忘。
• 基于队列的负样本采样和基于嵌入的检索可将推理时间复杂度从线性降低至常数，显著提升可扩展性。
• IURS的评估必须超越准确率，纳入公平性和多样性，以减轻对频繁交互商品的流行度偏差。
• 在高效检索、稳健评估，以及与持续学习和丰富辅助信息的集成方面，仍存在开放挑战。