[論文レビュー] PBODL : Parallel Bayesian Online Deep Learning for Click-Through Rate Prediction in Tencent Advertising System

Xun Liu, Wei Xue+2 more|arXiv (Cornell University)|Jul 4, 2017

Recommender Systems and Techniques参考文献 13被引用数 14

ひとこと要約

PBODLは、騰訊の広告システムにおけるクリック率（CTR）予測のための並列ベイジアンオンラインディープラーニングフレームワークを提案する。確率的バックプロパゲーションと仮定されたガウスフィルタリングを用いることで、迅速かつ正確なモデル更新を可能にする。FFM-MLP(オンライン)モデルを用いた実験では、オンラインA/Bテストで5.6%のCTR向上を達成し、新広告では25.6%のCTR向上を示した。バッチ学習モデル（DNNやFM）を上回る最先端の性能を発揮した。

ABSTRACT

We describe a parallel bayesian online deep learning framework (PBODL) for click-through rate (CTR) prediction within today's Tencent advertising system, which provides quick and accurate learning of user preferences. We first explain the framework with a deep probit regression model, which is trained with probabilistic back-propagation in the mode of assumed Gaussian density filtering. Then we extend the model family to a variety of bayesian online models with increasing feature embedding capabilities, such as Sparse-MLP, FM-MLP and FFM-MLP. Finally, we implement a parallel training system based on a stream computing infrastructure and parameter servers. Experiments with public available datasets and Tencent industrial datasets show that models within our framework perform better than several common online models, such as AdPredictor, FTRL-Proximal and MatchBox. Online A/B test within Tencent advertising system further proves that our framework could achieve CTR and CPM lift by learning more quickly and accurately.

研究の動機と目的

• 大規模オンライン広告において、常に変化する広告やユーザー行動に応じて、CTRモデルを迅速に更新する課題に対処する。
• 特徴量エンジニアリングに時間を要するのを減らすために、確率的モデリングを組み合わせたエンドツーエンドのディープラーニングを活用する。
• 効率的なオンライン学習と並列学習により、1日数十億件のトレーニングサンプルにスケーリングしながら、低遅延推論（10ms）を維持する。
• オンライン学習による頻繁な段階的更新を可能にすることで、新規広告やレア広告のモデルパフォーマンスを向上させる。
• パラメータサーバーとストリームコンピューティングインfraストラクチャを用いて、安定的かつスケーラブルなトレーニングを実現する。

提案手法

• 仮定されたガウス密度フィルタリングを用いた確率的バックプロパゲーションにより、ベイジアンオンライン学習で訓練されたディーププロビット回帰モデルを採用する。
• 特徴量埋め込み能力を強化することで、複数のベイジアンオンラインモデル（スパースMLP、FM-MLP、FFM-MLP）へのフレームワークの拡張を実現する。
• ストリームコンピューティングとパラメータサーバーを用いた並列トレーニングシステムを実装し、産業規模のデータ（1日数十億件）にスケーリングする。
• 負例サンプリングに再キャリブレーションを適用：q = p / (p + (1−p)/w) により、正例の割合を約0.1にバランスさせる。
• 安定性を確保するため、マルチスレッドのオンライン更新に移行する前に、最近のデータ（15〜30日分）を単一スレッドでトレーニングするバーニングイン段階を導入する。
• 分散の逆転による重み減衰：v′ = (v·v_prior) / ((1−ε)·v_prior + ε·v) を適用し、収束をゼロにしないようにし、学習能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 産業規模の広告システムにおいて、バッチ学習と比較して、ベイジアンオンラインディープラーニングは、CTR予測の高速化と正確性を向上させることができるか？
• RQ2 確率的バックプロパゲーションを用いたオンライン学習は、バッチモデルと比較して、新規広告やレア広告におけるパフォーマンスをどの程度向上させるか？
• RQ3 パラメータサーバーを用いた並列学習は、1日数十億件のサンプルを処理しつつ、低遅延を維持できるか？
• RQ4 再キャリブレーションを施した負例サンプリングは、トレーニングデータ量を削減してもパフォーマンスを損なわず、モデルの正確性を維持できるか？
• RQ5 重み減衰と事前分散の設定は、オンライン環境における長期的なモデル安定性と学習能力にどのように影響を与えるか？

主な発見

• FFM-MLP(オンライン)モデルは、ベースラインのDNN(バッチ)モデルと比較して、オンラインA/Bテストで5.6%のCTR向上を達成した。
• 新広告では、FFM-MLP(オンライン)が25.6%のCTR向上を達成したのに対し、DNN(バッチ)モデルは11.86%の新広告カバレッジにとどまった。
• FM-MLP(オンライン)は4.1%のCTR向上を達成し、バッチ学習されたFMおよびDNNモデルを上回る優れたパフォーマンスを示した。
• オンラインモデルは15分ごとに更新され、バッチモデルが数時間に1回の更新であるのとは異なり、新広告やキャンペーン変更への迅速な適応が可能になった。
• 複数のデータストリームと、ミニバッチあたり複数回のADF/EPパスの適用がパフォーマンス向上に寄与したが、運用リスクの増加を伴った。
• フレームワークは、低遅延推論（10ms）を実現し、リアルタイムモバイル広告に適した安定的かつスケーラブルなトレーニングを達成した。