[論文レビュー] Delayed Feedback Modeling for the Entire Space Conversion Rate Prediction
本稿では、インプレッション空間全体におけるユーザ行動シーケンスをモデル化することで、eコマースのコンversions per click rate (CVR)予測におけるデータスパarsity、サンプル選択バイアス、遅延フィードバックの3つの課題を統合的に解決する新規ディープラーニングフレームワークESDFを提案する。CTRとCVR予測を、離散的な日単位のスロットを用いた生存分析ベースの時間遅延モデルで統合することで、産業界データセット上でのESMMベースライン比でGAUCが6.68%相対的に向上した。
Estimating post-click conversion rate (CVR) accurately is crucial in E-commerce. However, CVR prediction usually suffers from three major challenges in practice: i) data sparsity: compared with impressions, conversion samples are often extremely scarce; ii) sample selection bias: conventional CVR models are trained with clicked impressions while making inference on the entire space of all impressions; iii) delayed feedback: many conversions can only be observed after a relatively long and random delay since clicks happened, resulting in many false negative labels during training. Previous studies mainly focus on one or two issues while ignoring the others. In this paper, we propose a novel neural network framework ESDF to tackle the above three challenges simultaneously. Unlike existing methods, ESDF models the CVR prediction from a perspective of entire space, and combines the advantage of user sequential behavior pattern and the time delay factor. Specifically, ESDF utilizes sequential behavior of user actions on the entire space with all impressions to alleviate the sample selection bias problem. By sharing the embedding parameters between CTR and CVR networks, data sparsity problem is greatly relieved. Different from conventional delayed feedback methods, ESDF does not make any special assumption about the delay distribution. We discretize the delay time by day slot and model the probability based on survival analysis with deep neural network, which is more practical and suitable for industrial situations. Extensive experiments are conducted to evaluate the effectiveness of our method. To the best of our knowledge, ESDF is the first attempt to unitedly solve the above three challenges in CVR prediction area.
研究の動機と目的
- CVR予測における3大課題（データスパarsity、サンプル選択バイアス、遅延フィードバック）に対処すること。
- クリックされたインプレッションのみでなく、インプレッション全体の空間にわたるCVR予測のモデリングを統一すること。
- 遅延分布に関するパrametric仮定に依存せず、産業界での導入可能性を維持すること。
- ユーザの順序付き行動パターンを活用することで、モデルの一般化性能と予測精度を向上させること。
- 産業界のCVRモデリング分野における今後の研究を促進するために、産業界のCVRデータセットのパブリックサンプリング版を公開すること。
提案手法
- ESDFは、CTRとCTCVR（クリック・コンバージョンレート）の2つのヘッドを同時に学習するマルチタスク学習フレームワークを採用し、パラメータ共有によってデータスパarsityを軽減する。
- クリックと非クリックの両方のインプレッションにわたるユーザ行動シーケンスをモデル化することで、サンプル選択バイアスを低減する。
- 時間遅延要因は、離散的な日単位のスロットを用いてモデル化し、特定の分布を仮定せずに深層ニューラルネットワークで生存確率を近似する。
- 観測されたコンバージョン時刻の対数尤度を最適化することで、生存分析の原則に従い、エンド・トゥ・エンドの学習を可能にする。
- CTRとCVRタスクに共通の埋め込みバックボーンを使用することで、表現学習と一般化性能を強化する。
- 遅延時間を7日単位のスロットに離散化し、各スロットにコンバージョンが属する確率を予測することで、実用的な導入を可能にする。
実験結果
リサーチクエスチョン
- RQ1統合的なディープラーニングフレームワークは、CVR予測におけるデータスパarsity、サンプル選択バイアス、遅延フィードバックを同時に効果的に解決できるか？
- RQ2クリックされたインプレッションのみでなく、インプレッション全体の空間をモデル化することで、CVR予測性能がどのように向上するか？
- RQ3生存分析に基づく非パラメトリックで離散時間の遅延モデルは、指数分布のようなパラメトリック仮定を上回る程度の性能を発揮するか？
- RQ4ユーザの順序付き行動パターンを組み込むことで、モデルの一般化性能と遅延フィードバックに対するロバストネスが著しく向上するか？
- RQ5インプレッション、クリック、遅延コンバージョンラベルを含む、パブリックに公開されたデータセットは、産業界のCVRモデリング分野における今後の研究を加速できるか？
主な発見
- 製品データセット上では、ESMMベースライン比でGAUCが6.68%相対的に向上し、産業界応用において顕著な向上を達成した。
- パブリックデータセット上では、ROC AUCが0.0132ポイント向上し、ESMM比で4.93%の相対的改善を達成した。
- パブリックデータセットと製品データセットの両方で、強力なベースラインであるDFMを上回り、それぞれ0.82%および3.16%の相対的改善を示した。
- ESDFの時間遅延モデルは、遅延フィードバックのサンプルに対してより安定的かつ正確な性能を示し、特にDFMの指数分布仮定が不安定を引き起こすパブリックデータセットで顕著だった。
- 遅延サンプルを単純に除外するNAIVE手法は、log lossにおいてESMMより劣っており、遅延フィードバックを無視することで分布シフトが生じ、モデル精度が低下することを示唆している。
- 産業界のCVRモデリングを目的とした、インプレッション、クリック、遅延コンバージョンラベルを含むパブリックサンプリング版データセットの公開は、本稿が初となる。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。