[论文解读] Do Offline Metrics Predict Online Performance in Recommender Systems?

Karl Krauth, Sarah Dean+5 more|arXiv (Cornell University)|Nov 7, 2020

Advanced Bandit Algorithms Research参考文献 39被引用 11

一句话总结

本文通过在6个受控环境中模拟11种推荐系统，研究了离线指标是否能预测实际在线性能。研究发现，尽管离线指标与在线性能存在相关性，但性能提升的回报递减，且推荐系统的排名高度依赖于初始离线数据的可用性与探索策略。

ABSTRACT

Recommender systems operate in an inherently dynamical setting. Past recommendations influence future behavior, including which data points are observed and how user preferences change. However, experimenting in production systems with real user dynamics is often infeasible, and existing simulation-based approaches have limited scale. As a result, many state-of-the-art algorithms are designed to solve supervised learning problems, and progress is judged only by offline metrics. In this work we investigate the extent to which offline metrics predict online performance by evaluating eleven recommenders across six controlled simulated environments. We observe that offline metrics are correlated with online performance over a range of environments. However, improvements in offline metrics lead to diminishing returns in online performance. Furthermore, we observe that the ranking of recommenders varies depending on the amount of initial offline data available. We study the impact of adding exploration strategies, and observe that their effectiveness, when compared to greedy recommendation, is highly dependent on the recommendation algorithm. We provide the environments and recommenders described in this paper as Reclab: an extensible ready-to-use simulation framework at https://github.com/berkeley-reclab/RecLab.

研究动机与目标

• 评估离线指标对推荐系统在线性能的预测能力。
• 研究反馈循环、用户动态及探索策略如何影响离线与在线指标之间的相关性。
• 考察初始离线数据可用性对推荐系统排名与性能的影响。
• 评估探索策略相对于贪婪推荐的有效性，及其在不同算法类型中的表现差异。
• 提供一个可复现的仿真框架（RecLab），以支持未来对推荐动态的研究。

提出的方法

• 在6个受控环境中进行模拟，环境在用户动态、物品流行度和数据可用性方面各不相同，以隔离反馈效应的影响。
• 评估了11种多样化的推荐模型，包括基线模型、邻域模型、核方法、线性模型、矩阵分解模型及神经网络模型。
• 在训练集、验证集和测试集上使用标准离线指标（RMSE 和 nDCG）评估模型性能。
• 通过用户评分、覆盖率和多样性指标，在动态仿真环境中测量在线性能。
• 应用探索策略（如 ε-贪婪）并将其影响与贪婪推荐进行对比。
• 将仿真框架 RecLab 作为开源工具发布，以支持可扩展性与可复现性。

实验结果

研究问题

• RQ1 在动态推荐系统中，RMSE 和 nDCG 等离线指标在多大程度上能预测在线性能？
• RQ2 反馈效应与用户动态如何影响离线与在线性能之间的关系？
• RQ3 推荐系统的排名是否依赖于模拟中初始离线数据的多少？
• RQ4 探索策略相对于贪婪推荐的有效性如何？其有效性是否因算法类型而异？
• RQ5 在不同模拟环境中，覆盖率和多样性指标与性能的相关性如何？

主要发现

• RMSE 和 nDCG 等离线指标在多个模拟环境中与在线性能表现出显著相关性。
• 离线指标的提升在在线性能上带来的回报呈递减趋势，表明进一步提升准确性所带来的实际收益逐渐减小。
• 推荐系统的相对排名取决于初始离线数据的多少，表明数据可用性对模型性能比较具有显著影响。
• 探索策略相比贪婪推荐能提升在线性能，但其有效性高度依赖于底层推荐算法。
• 覆盖率和多样性指标与性能的相关性具有环境依赖性——在主题静态环境中呈正相关，但在潜在静态环境中相关性微弱，可能由于物品偏差效应所致。
• 仿真框架 RecLab 支持对推荐动态的受控、可复现评估，并揭示了在仅离线评估或真实在线评估中难以观察到的现象。