[論文レビュー] BARS: Towards Open Benchmarking for Recommender Systems

Jieming Zhu, Quanyu Dai+6 more|arXiv (Cornell University)|May 19, 2022

Recommender Systems and Techniques被引用数 10

ひとこと要約

BARSは、推薦システムの再現可能性を高めるために、データセット、コード、ハイパーパramータ、ログ、評価結果を統合した標準的でオープンなベンチマークパイプラインを導入する。この研究では、最近のCTR予測モデルにおける性能向上の主張が誇張されていることが判明しており、特にCriteo_x4でトップモデルがほぼ同一のAUCスコア（例：~81.4）を達成していることから、きめ細やかで一貫性のある評価の必要性が強調される。

ABSTRACT

The past two decades have witnessed the rapid development of personalized recommendation techniques. Despite significant progress made in both research and practice of recommender systems, to date, there is a lack of a widely-recognized benchmarking standard in this field. Many existing studies perform model evaluations and comparisons in an ad-hoc manner, for example, by employing their own private data splits or using different experimental settings. Such conventions not only increase the difficulty in reproducing existing studies, but also lead to inconsistent experimental results among them. This largely limits the credibility and practical value of research results in this field. To tackle these issues, we present an initiative project (namely BARS) aiming for open benchmarking for recommender systems. In comparison to some earlier attempts towards this goal, we take a further step by setting up a standardized benchmarking pipeline for reproducible research, which integrates all the details about datasets, source code, hyper-parameter settings, running logs, and evaluation results. The benchmark is designed with comprehensiveness and sustainability in mind. It covers both matching and ranking tasks, and also enables researchers to easily follow and contribute to the research in this field. This project will not only reduce the redundant efforts of researchers to re-implement or re-run existing baselines, but also drive more solid and reproducible research on recommender systems. We would like to call upon everyone to use the BARS benchmark for future evaluation, and contribute to the project through the portal at: https://openbenchmark.github.io/BARS.

研究の動機と目的

• 推薦システム分野における標準的で再現可能な評価の欠如に対処する。
• 個人データ分割や一貫性のないベースラインといった、恣意的な評価手法を低減する。
• データセット、コード、ハイパーパramータ、ログ、結果を統合した統一されたパイプラインを構築し、透明性を高める。
• 公平な比較を促進し、モデル向上の主張を誇張するのを防ぐ。
• コミュニティの貢献を促し、将来的なベンチマークの維持・拡張を可能にする。

提案手法

• データセット、ソースコード、ハイパーパramータ設定、トレーニングログ、評価メトリクスを含む標準的ベンチマークパイプラインを設計する。
• Criteo、Avazu、MovieLens、AmazonBooksといった複数の実世界データセットを、標準化された前処理と分割を用いて統合する。
• 統一されたフレームワーク内でマッチング（リtrieval）およびランク付け（CTR予測）の両タスクをサポートする。
• 複数のランダムシードにおける完全なトレーニング設定と結果の公開により、再現性を確保する。
• コミュニティのアクセスと貢献を可能にするために、公開ポータル（https://openbenchmark.github.io/BARS）でベンチマークをホスティングする。
• 研究者が一貫してモデルを再現・チューニング・検証できるよう、ツールとガイドラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 不一致なデータ分割やハイパーパramータ設定のため、既存の推薦システム評価はどの程度再現可能性に欠けているか？
• RQ2 標準化された同一条件で評価された場合、最先端のCTR予測モデルどうしがどの程度異なる性能を示すか？
• RQ3 最近の論文で報告された性能向上は、実際には不十分なベースラインチューニングや実験設計の影響で誇張されているのだろうか？
• RQ4 統一的でオープンなベンチマークパイプラインは、重複する実装作業を減らし、研究の信頼性を高められるか？
• RQ5 長期的かつコミュニティ主導の推薦システムベンチマークを維持するために必要な主要な構成要素は何か？

主な発見

• DeepFM、DCN、xDeepFM、DCN-v2はCriteo_x4データセットでほぼ同一のAUCスコア（~81.4）を達成しており、主張された性能向上とはかかわらず、顕著な差異は見られない。
• PNN、HFM+、FGCNNはAvazu_x4でほぼ同等のAUCスコア（~79.44）を達成しており、新しいアーキテクチャによる向上は標準化された条件下で限定的であることが示唆される。
• InterHAt、AFN+、LorentzFMといった最近提案されたモデルは、既存のベースラインに比べて性能が劣っており、元の論文での改善の主張が誇張されている可能性がある。
• トップモデル間の観察された性能差はしばしば0.1%未満であり、大規模CTR予測タスクにおける顕著な向上の難しさを示している。
• 多くの文献で報告された結果は、データ分割、ハイパーパramータ、実装に関する詳細が欠落しているため、再現不可能であり、信頼性を損なっている。
• BARSベンチマークは一貫性があり再現可能な評価を可能にし、過去の研究における不整合を明らかにし、標準的でオープンなベンチマークの必要性を裏付けている。