[论文解读] FuxiCTR: An Open Benchmark for Click-Through Rate Prediction

Jieming Zhu, Jinyang Liu+3 more|arXiv (Cornell University)|Sep 12, 2020

Recommender Systems and Techniques参考文献 38被引用 7

一句话总结

FuxiCTR 是一个用于可复现点击率（CTR）预测研究的开源、标准化基准，通过统一框架在 Criteo 和 Avazu 数据集上对 24 种深度学习模型执行了 4,600 次实验。该基准揭示了现有模型性能报告中的显著不一致性，凸显了采用严格、统一的评估协议以确保与最先进模型公平比较的必要性。

ABSTRACT

In many applications, such as recommender systems, online advertising, and product search, click-through rate (CTR) prediction is a critical task, because its accuracy has a direct impact on both platform revenue and user experience. In recent years, with the prevalence of deep learning, CTR prediction has been widely studied in both academia and industry, resulting in an abundance of deep CTR models. Unfortunately, there is still a lack of a standardized benchmark and uniform evaluation protocols for CTR prediction. This leads to the non-reproducible and even inconsistent experimental results among these studies. In this paper, we present an open benchmark (namely FuxiCTR) for reproducible research and provide a rigorous comparison of different models for CTR prediction. Specifically, we ran over 4,600 experiments for a total of more than 12,000 GPU hours in a uniform framework to re-evaluate 24 existing models on two widely-used datasets, Criteo and Avazu. Surprisingly, our experiments show that many models have smaller differences than expected and sometimes are even inconsistent with what reported in the literature. We believe that our benchmark could not only allow researchers to gauge the effectiveness of new models conveniently, but also share some good practices to fairly compare with the state of the arts. We will release all the code and benchmark settings.

研究动机与目标

• 解决 CTR 预测研究中缺乏标准化基准和统一评估协议的问题。
• 实现深度 CTR 模型之间可复现且一致的实验结果。
• 识别现有文献中报告性能与实际性能之间的差异。
• 为新模型与最先进模型的公平比较提供统一框架。
• 分享评估和报告 CTR 模型性能的最佳实践。

提出的方法

• 开发了一个统一的深度学习框架，用于在两个广泛使用的数据集（Criteo 和 Avazu）上重新评估 24 种现有的 CTR 模型。
• 在超过 12,000 GPU 小时内执行了超过 4,600 次实验，以确保训练和评估条件的一致性。
• 在所有模型中应用相同的预处理、超参数设置和评估指标，以消除实现差异。
• 使用标准化的训练/验证/测试划分和交叉验证协议，以确保公平性和可复现性。
• 公开所有代码、模型配置和基准设置，以促进透明度和可重用性。
• 执行消融研究和敏感性分析，以在统一设置下评估模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 当在统一的训练和评估协议下重新评估时，现有 CTR 模型报告的性能提升是否具有一致性？
• RQ2 实现细节的差异在多大程度上影响了 CTR 模型的报告性能？
• RQ3 在标准化基准条件下，报告的 CTR 模型最先进结果是否可复现？
• RQ4 导致已发表 CTR 模型性能不一致的关键因素是什么？
• RQ5 标准化基准能否提升 CTR 模型评估的公平性和透明度？

主要发现

• 许多 CTR 模型的实际性能差异远小于先前报告的数值，这挑战了早期结论的有效性。
• 大量模型在相同协议下重新评估时表现出不一致的性能排名，表明可能存在报告偏差或实现差异。
• 该基准揭示，一些被报告为最先进性能的模型在使用相同超参数和数据划分评估时，表现远低于预期。
• 结果强调了标准化评估框架的重要性，以确保模型比较的可靠性和可比性。
• 代码和配置的公开发布使研究人员能够验证结果，并为未来 CTR 模型开发采用最佳实践。