[论文解读] KuaiSim: A Comprehensive Simulator for Recommender Systems

Kesen Zhao, Shuchang Liu+6 more|arXiv (Cornell University)|Sep 22, 2023

Recommender Systems and Techniques被引用 7

一句话总结

KuaiSim 是一个全面的强化学习推荐系统仿真器，可建模多行为用户反馈、会话级交互以及跨会话留存。它支持三种任务层级——请求级、完整会话级和跨会话级，利用真实世界日志数据预训练用户响应、离开和留存模型，从而实现稳健、可复现的评估，并具备内置基准和跨数据集适应能力。

ABSTRACT

Reinforcement Learning (RL)-based recommender systems (RSs) have garnered considerable attention due to their ability to learn optimal recommendation policies and maximize long-term user rewards. However, deploying RL models directly in online environments and generating authentic data through A/B tests can pose challenges and require substantial resources. Simulators offer an alternative approach by providing training and evaluation environments for RS models, reducing reliance on real-world data. Existing simulators have shown promising results but also have limitations such as simplified user feedback, lacking consistency with real-world data, the challenge of simulator evaluation, and difficulties in migration and expansion across RSs. To address these challenges, we propose KuaiSim, a comprehensive user environment that provides user feedback with multi-behavior and cross-session responses. The resulting simulator can support three levels of recommendation problems: the request level list-wise recommendation task, the whole-session level sequential recommendation task, and the cross-session level retention optimization task. For each task, KuaiSim also provides evaluation protocols and baseline recommendation algorithms that further serve as benchmarks for future research. We also restructure existing competitive simulators on the KuaiRand Dataset and compare them against KuaiSim to future assess their performance and behavioral differences. Furthermore, to showcase KuaiSim's flexibility in accommodating different datasets, we demonstrate its versatility and robustness when deploying it on the ML-1m dataset.

研究动机与目标

• 解决现有仿真器在建模多行为用户反馈和长期用户留存方面的局限性。
• 提供一个统一的仿真框架，支持三种不同的推荐任务层级：请求级、完整会话级和跨会话级。
• 通过在真实日志数据上预训练用户模型，确保与真实世界数据的一致性，并支持灵活地将数据迁移至其他数据集。
• 为每个任务层级建立标准化的评估协议和基线算法，作为未来研究的基准。
• 通过在 KuaiRand 数据集上与现有仿真器进行对比分析，并在 ML-1m 数据集上展示其鲁棒性，提升仿真器的评估能力。

提出的方法

• 设计一个具有三个不同任务层级的多层级仿真器架构：列表级推荐（请求级）、序列级推荐（完整会话级）和留存优化（跨会话级）。
• 实现三个核心模型：用于多行为反馈（如点击、点赞、转发）的用户即时响应模型，用于检测会话结束的用户离开模型，以及用于预测用户返回行为的用户留存模型。
• 使用 KuaiRand 数据集的真实世界日志数据对所有用户行为模型进行预训练，以确保与真实用户行为分布的一致性。
• 在仿真过程中引入用户采样，以保持与真实世界数据分布的一致性，并减少分布偏移。
• 通过结构化支持不同数据格式，实现跨数据集适应性，已在 ML-1m 数据集上得到验证。
• 为每个任务层级提供标准化的评估协议和基线算法，以确保可复现性和基准测试能力。

实验结果

研究问题

• RQ1 仿真器在多行为用户反馈（如点击、点赞、转发）和长期留存信号方面，能否以现实方式准确捕捉？
• RQ2 在真实日志数据上训练的仿真器在多大程度上能保持与真实世界用户行为分布的一致性？
• RQ3 统一的仿真器框架能否有效支持不同抽象层级（请求级、会话级、跨会话级）下的多样化推荐任务？
• RQ4 当关键超参数（如列表大小和最大时间步数）变化时，仿真器的性能如何变化？
• RQ5 在基准任务上，KuaiSim 与现有仿真器相比，在行为保真度和模型性能方面表现如何？

主要发现

• 在 KuaiSim 中，模型性能最优的列表大小为 20；当列表大小过小（项目覆盖不足）或过大（噪声过多且用户疲劳）时，性能均会下降。
• 最大时间步数为 20 时，仿真中回报最高；在其他设置下，回报天数值稳定在 2.2 到 2.3 之间，表明对超参数变化具有鲁棒性。
• KuaiSim 在不同参数设置下均表现出一致且稳定的训练性能，证实了仿真器训练智能体的可靠性和鲁棒性。
• 仿真器成功利用真实日志数据再现了关键用户行为——即时反馈、会话终止和跨会话留存，显著提升了其真实感和保真度。
• 该框架可适配其他数据集，如在 ML-1m 数据集上的成功部署所示，证实了其灵活性和可扩展性。
• 在 KuaiRand 数据集上的对比评估表明，KuaiSim 在捕捉行为动态方面优于或至少不逊于现有仿真器，尤其在建模长期留存信号方面表现突出。