[論文レビュー] Open Benchmarking for Click-Through Rate Prediction

Jieming Zhu, Jinyang Liu+3 more|arXiv (Cornell University)|Sep 12, 2020

Green IT and Sustainability参考文献 49被引用数 4

ひとこと要約

この論文は、CriteoおよびAvazuデータセット上で24のモデルについて、評価プロトコルを標準化した、CTR予測のための最初のオープンベンチマークであるBARS-CTRを紹介する。7,000回を超える実験と12,000時間以上のGPU使用時間を経て、徹底的なハイパーパrameterチューニングの後でも、モデルの性能差は予想よりも小さく、CTR研究における再現可能性のあるベンチマークの必要性が浮き彫りになった。

ABSTRACT

Click-through rate (CTR) prediction is a critical task for many applications, as its accuracy has a direct impact on user experience and platform revenue. In recent years, CTR prediction has been widely studied in both academia and industry, resulting in a wide variety of CTR prediction models. Unfortunately, there is still a lack of standardized benchmarks and uniform evaluation protocols for CTR prediction research. This leads to non-reproducible or even inconsistent experimental results among existing studies, which largely limits the practical value and potential impact of their research. In this work, we build an open benchmark for CTR prediction, namely BARS-CTR, and present a rigorous comparison of different models in a reproducible manner. To this end, we ran over 7,000 experiments for more than 12,000 GPU hours in total to re-evaluate 24 existing models on multiple datasets and settings. Surprisingly, our experiments show that with sufficient hyper-parameter search and model tuning, many deep models have smaller differences than expected. The results also reveal that making real progress on the modeling of CTR prediction is indeed a very challenging research task. We believe that our benchmarking work could not only allow researchers to gauge the effectiveness of new models conveniently but also make them fairly compare with the state of the arts. We have publicly released the benchmarking code, evaluation protocols, and hyper-parameter settings of our work to promote reproducible research in this field.

研究の動機と目的

• CTR予測研究における標準化された評価プロトコルと再現可能な結果の欠如に対処すること。
• 既存のCTRモデル間での公正で一貫性のある比較を可能にする統一されたベンチマークフレームワークを提供すること。
• 研究者がベースラインを再実装する冗長な作業を減らすために、完全なトレーニング設定と結果を公開すること。
• データ分割、前処理、ハイパーパrameter設定の違いにより、先行研究に不整合や再現不能さが生じていることを明らかにすること。
• すべての実験のコード、ハイパーパrameter、中間アーティファクトを公開することで、再現可能な研究を促進すること。

提案手法

• CTR予測のためのオープンベンチマークプラットフォームBARS-CTRを構築し、データ前処理、トレーニング・テスト分割、評価指標を標準化した。
• 複数回の実行と固定されたランダムシードを用いた一様なトレーニング設定で、24の既存CTRモデルを再評価した。
• 各モデルとデータセットの組み合わせに対して、ベイズ最適化を用いた広範なハイパーパrameterサーチを実施した。
• 耐久性を確保するため、複数のデータ分割方式を用いて広く採用されている2つの実世界データセット（CriteoとAvazu）を用いた。
• 数値特徴量の取り扱い、レアなカテゴリカル特徴量、特徴量フィールドの定義を含む、標準化された前処理手順を実施した。
• すべての結果の再現性を確保するため、完全なトレーニングログ、ハイパーパramータ設定、コードを公開した。

実験結果

リサーチクエスチョン

• RQ1 標準化され再現可能なプロトコルで評価された場合、既存のCTRモデルの性能差はどの程度顕著か？
• RQ2 ハイパーパラメータチューニングと一貫性のあるデータ前処理は、CTRモデルの相対的順位にどの程度影響を与えるか？
• RQ3 Criteo や Avazu のような広く利用可能なデータセットを用いても、多くの先行研究が一貫性のない、または再現不能な結果を報告する理由は何か？
• RQ4 集中管理されオープンなベンチマークは、CTR予測研究におけるモデル比較の信頼性と公平性を向上させることができるか？
• RQ5 徹底的なチューニングと標準化された評価を経た後、最先端CTRモデル間の真の性能差は何か？

主な発見

• 広範なハイパーパラメータチューニングと標準化された評価を経た後、多くの深層CTRモデル間の性能差は、以前に報告されたものよりも顕著に小さくなった。
• このベンチマークは、先行研究において不一致なデータ分割、前処理手法、ハイパーパラメータ選択が、再現不能で誤解を招く比較を生じさせていることを明らかにした。
• 同じプロトコルで評価された場合でさえ、以前の研究で最先端とされたモデルも、強力なベースラインモデルに対して僅差しか向上していないことが判明した。
• 結果として、高度なディープラーニングアーキテクチャを用いても、CTR予測における有意義な精度向上は依然として極めて困難な課題であることが示された。
• トレーニングログ、ハイパーパラメータ、コードのオープンリリースにより、すべての結果の完全な再現性が可能となり、研究者が公正にモデルを検証・比較できるようになった。
• ベンチマーク作業には12,000時間以上のGPU使用時間と7,000回を超える個別の実験が要され、CTR予測における公正なモデル評価の複雑さが浮き彫りになった。