[论文解读] BARS: Towards Open Benchmarking for Recommender Systems

Jieming Zhu, Quanyu Dai+6 more|arXiv (Cornell University)|May 19, 2022

Recommender Systems and Techniques被引用 10

一句话总结

BARS 引入了一套标准化、开放的推荐系统基准测试流程，统一整合了数据集、代码、超参数、日志和评估结果，以实现可复现的研究。该研究发现，近期点击率（CTR）预测模型所宣称的性能提升大多被夸大，因为顶尖模型在 Criteo_x4 上的 AUC 分数几乎完全相同（例如，约为 81.4），凸显了对严格、一致评估的迫切需求。

ABSTRACT

The past two decades have witnessed the rapid development of personalized recommendation techniques. Despite significant progress made in both research and practice of recommender systems, to date, there is a lack of a widely-recognized benchmarking standard in this field. Many existing studies perform model evaluations and comparisons in an ad-hoc manner, for example, by employing their own private data splits or using different experimental settings. Such conventions not only increase the difficulty in reproducing existing studies, but also lead to inconsistent experimental results among them. This largely limits the credibility and practical value of research results in this field. To tackle these issues, we present an initiative project (namely BARS) aiming for open benchmarking for recommender systems. In comparison to some earlier attempts towards this goal, we take a further step by setting up a standardized benchmarking pipeline for reproducible research, which integrates all the details about datasets, source code, hyper-parameter settings, running logs, and evaluation results. The benchmark is designed with comprehensiveness and sustainability in mind. It covers both matching and ranking tasks, and also enables researchers to easily follow and contribute to the research in this field. This project will not only reduce the redundant efforts of researchers to re-implement or re-run existing baselines, but also drive more solid and reproducible research on recommender systems. We would like to call upon everyone to use the BARS benchmark for future evaluation, and contribute to the project through the portal at: https://openbenchmark.github.io/BARS.

研究动机与目标

• 解决推荐系统研究中缺乏标准化、可复现评估的问题。
• 减少私有数据划分和基线不一致等临时性评估实践。
• 建立一个整合数据集、代码、超参数、日志和结果的统一流程，以提升透明度。
• 促进公平比较，减少对模型性能提升的夸大宣称。
• 鼓励社区持续贡献，以长期维护和扩展该基准。

提出的方法

• 设计一个包含数据集、源代码、超参数设置、训练日志和评估指标的标准化基准测试流程。
• 整合多个真实世界数据集，包括 Criteo、Avazu、MovieLens 和 AmazonBooks，采用标准化的预处理和划分方式。
• 在一个统一框架中支持匹配（检索）和排序（CTR 预测）任务。
• 通过在多个随机种子下发布完整的训练配置和结果，确保可复现性。
• 在公共门户（https://openbenchmark.github.io/BARS）托管该基准，供社区访问和贡献。
• 提供工具和指南，帮助研究人员一致地复现、调优和验证模型。

实验结果

研究问题

• RQ1 由于数据划分和超参数设置不一致，现有推荐系统评估在多大程度上缺乏可复现性？
• RQ2 当在相同、标准化的条件下评估时，最先进 CTR 预测模型之间的表现如何比较？
• RQ3 近期论文中报告的性能提升是否真正显著，还是因基线调优不足或实验设计不佳而被夸大？
• RQ4 统一的、开放的基准测试流程在多大程度上能减少重复实现工作并提升研究可信度？
• RQ5 维系一个长期、社区驱动的推荐系统基准所需的关键组件是什么？

主要发现

• DeepFM、DCN、xDeepFM 和 DCN-v2 在 Criteo_x4 数据集上达到几乎相同的 AUC 分数（约 81.4），表明尽管宣称有改进，实际性能差异极小。
• PNN、HFM+ 和 FGCNN 在 Avazu_x4 上的 AUC 分数相近（约 79.44），表明在标准化设置下，新架构带来的增益有限。
• 若干近期提出的模型，包括 InterHAt、AFN+ 和 LorentzFM，相比成熟基线表现更差，表明原始论文中对性能提升的宣称可能存在夸大。
• 顶尖模型之间的性能差异通常小于 0.1%，凸显了在大规模 CTR 预测任务中实现显著提升的困难。
• 由于缺少关于数据划分、超参数或实现细节的说明，文献中许多报告结果无法复现，严重损害了可信度。
• BARS 基准支持一致、可重复的评估，并揭示了以往研究中的不一致之处，有力支持了采用标准化、开放基准的必要性。