[論文レビュー] Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction

Sofia Ira Ktena, Alykhan Tejani+6 more|arXiv (Cornell University)|Jul 15, 2019

Data Stream Mining Techniques参考文献 27被引用数 8

ひとこと要約

本稿では、ディスプレイ広告におけるクリック予測のためのニューラルネットワークの連続学習における遅延フィードバック問題を解消するために、改善された損失関数（特にFN重み付き損失とFN補正損失）を提案する。訓練中に観測されていない陽性ラベルの不確実性をモデル化することで、偽陰性バイアスを低減し、オンライン実験では標準的なログ損失と比較して1,000件あたりの収益（RPMq）が55%向上した。

ABSTRACT

One of the challenges in display advertising is that the distribution of features and click through rate (CTR) can exhibit large shifts over time due to seasonality, changes to ad campaigns and other factors. The predominant strategy to keep up with these shifts is to train predictive models continuously, on fresh data, in order to prevent them from becoming stale. However, in many ad systems positive labels are only observed after a possibly long and random delay. These delayed labels pose a challenge to data freshness in continuous training: fresh data may not have complete label information at the time they are ingested by the training algorithm. Naive strategies which consider any data point a negative example until a positive label becomes available tend to underestimate CTR, resulting in inferior user experience and suboptimal performance for advertisers. The focus of this paper is to identify the best combination of loss functions and models that enable large-scale learning from a continuous stream of data in the presence of delayed labels. In this work, we compare 5 different loss functions, 3 of them applied to this problem for the first time. We benchmark their performance in offline settings on both public and proprietary datasets in conjunction with shallow and deep model architectures. We also discuss the engineering cost associated with implementing each loss function in a production environment. Finally, we carried out online experiments with the top performing methods, in order to validate their performance in a continuous training scheme. While training on 668 million in-house data points offline, our proposed methods outperform previous state-of-the-art by 3% relative cross entropy (RCE). During online experiments, we observed 55% gain in revenue per thousand requests (RPMq) against naive log loss.

研究の動機と目的

• 陽性ラベル（クリック）がランダムな遅延後にのみ観測されるという状況下で、CTR予測モデルの連続学習における遅延フィードバックの課題に対処すること。
• ディスプレイ広告で一般的に見られる実世界のデータ分布の変化を想定し、複数の損失関数（特に新規のもの）の性能を評価・比較すること。
• モデルの性能と生産環境におけるスケーラビリティを維持しつつ、偽陰性ラベルの割合を最小限に抑える損失関数を特定すること。
• 実際の広告トラフィックを用いたオンラインA/B実験により、RPMq やモノタイズドCTRといった主要ビジネス指標に与える影響を検証し、最も優れた手法を特定すること。
• ストリーミング学習パイプラインにおける最小限のインfraコストと低レイテンシで実装可能な、これらの損失関数のエンジニアリング指針を提供すること。

提案手法

• 未観測の陽性ラベルに対処するため、2つの新規損失関数（FN重み付き損失、FN補正損失）を含む5つの損失関数を提案する。
• 重要度サンプリングの原則を適用し、遅延フィードバックの確率に基づいて訓練サンプルを再重み付けすることで、偽陰性によるバイアスを低減する。
• 2段階の訓練戦略を採用：最初に即時の陰性ラベルで訓練を行い、その後で遅延して到着する陽性信号を損失再重み付けによって補正する。
• モデルの複雑さの範囲をカバーするため、浅い（ロジスティック回帰）および深い（ワイド＆ディープ）ニューラルネットワークアーキテクチャを用いて一般化性能を評価する。
• リアルタイムのデータインジェストとモデル更新を可能にするオンライン学習を実装し、未ラベルデータを保存せずに分布シフトに適応できるようにする。
• フィードバックの時間的依存性を考慮するための時系列依存重み付けを導入し、勾配の安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 異なる損失関数は、CTR予測モデルの連続学習における遅延フィードバックをどのように処理するか？
• RQ2 どの損失関数が、オフラインおよびオンライン設定において安定した訓練と高い予測精度を維持しつつ、偽陰性バイアスを最小限に抑えるか？
• RQ3 FN重み付きやFN補正といった新規損失関数は、RCEおよびRPMqといったビジネス指標において、標準的なログ損失やPU損失を上回る性能を示せるか？
• RQ4 オンライン環境においてPU損失を使用する際のトレードオフ（訓練の安定性と性能のバランス）は何か？非負の学習を用いることで安定化できるか？
• RQ5 モデルアーキテクチャ（例：ワイド＆ディープ対ロジスティック回帰）と損失関数の選択との間には、性能および耐性面でどのような相互作用があるか？

主な発見

• FN重み付き損失およびFN補正損失は、公開データセットおよび社内データセットの両方で最も優れたオフライン性能を示し、SOTA（最先端）と比較して相対的交差エントロピー（RCE）を3%低減した。
• オンライン実験では、FN重み付き損失およびFN補正損失は、標準的なログ損失と比較して、1,000件あたりの収益（RPMq）をそれぞれ55.10%および54.37%向上させた。
• モノタイズドCTRは、FN重み付きおよびFN補正損失のそれぞれで23.01%および23.19%向上し、顕著なビジネスインパクトを示した。
• PU損失はオフライン性能が優れていたが、オンライン学習では2日以内に発散し、実運用環境での不安定性が判明した。
• 遅延フィードバック損失関数はシンプルなモデルでは良好に機能したが、より頑健な手法（FN補正、FN重み付き）に比べて、深層モデルでは劣っていた。
• ワイド＆ディープモデルアーキテクチャは、すべての損失関数においてロジスティック回帰を上回った。特にFN重み付きまたはFN補正損失と組み合わせた場合に顕著な性能向上が見られた。