[論文レビュー] Improving Native Ads CTR Prediction by Large Scale Event Embedding and Recurrent Networks

Mehul Parsana, Krishna Poola+2 more|arXiv (Cornell University)|Apr 24, 2018

Recommender Systems and Techniques参考文献 7被引用数 7

ひとこと要約

本稿では、ユーザーの閲覧履歴を弱い教師信号として用いたシアンプスネットワークを用いた大規模なイベント埋め込み手法を提案し、再帰的ニューラルネットワークとアテンションメカニズムを組み合わせることで、ネイティブ広告のCTR予測を向上させている。この手法は、順序付けられたユーザー行動を効果的にモデル化し、URL、タイトル、説明文から意味的に意味のあるイベント表現を学習することで、70.8%のAUCを達成し、ベースラインを著しく上回っている。

ABSTRACT

Click through rate (CTR) prediction is very important for Native advertisement but also hard as there is no direct query intent. In this paper we propose a large-scale event embedding scheme to encode the each user browsing event by training a Siamese network with weak supervision on the users' consecutive events. The CTR prediction problem is modeled as a supervised recurrent neural network, which naturally model the user history as a sequence of events. Our proposed recurrent models utilizing pretrained event embedding vectors and an attention layer to model the user history. Our experiments demonstrate that our model significantly outperforms the baseline and some variants.

研究の動機と目的

• ネイティブ広告におけるユーザーの検索意図の低さに取り組むために、ユーザーの閲覧履歴を順序付きイベントとしてモデル化すること。
• 明示的な検索信号に依存せずに、ユーザーイベントの密な低次元表現を学習することで、CTR予測の精度を向上させること。
• URL、タイトル、説明文から意味的および時間的パターンを捉えるスケーラブルな弱教師付きイベント埋め込みフレームワークを構築すること。
• 事前学習済みのイベント埋め込みを再帰モデルに統合し、アテンションを用いることで、長期的なユーザーの好みと順序依存性をよりよく捉えること。

提案手法

• 対照的損失を用いて、連続するユーザー閲覧イベント上でシアンプスネットワークを学習させ、潜在空間におけるイベント埋め込みを学習する。
• 各ユーザーイベントをURL、タイトル、説明文の三つ組として表現し、シアンプスネットワークを用いて固定サイズのベクトル空間に埋め込む。
• 事前学習済みのイベント埋め込みを、ユーザー行動の系列をモデル化するための再帰的ニューラルネットワーク（LSTMまたはGRU）の入力として使用する。
• 埋め込み済みイベントの系列に対してアテンションメカニズムを適用し、CTR予測における各イベントの重要性を動的に重み付ける。
• ドロップアウトと勾配クリッピングを用いて過学習や消失勾配を防ぐために、Adam最適化アルゴリズムでエンドツーエンドのモデルを訓練する。
• 実世界のネイティブ広告クリック予測データを用いてAUCを評価し、事前学習済み埋め込みおよびアテンションの有無を比較したバリエーションを検証する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きのイベント埋め込みは、ネイティブ広告のユーザー閲覧イベントから意味的および時間的パターンを効果的に捉えることができるか？
• RQ2 RNNによる順序モデリングを組み込むことで、バッグオブイベントや非順序モデルと比較してCTR予測性能がどのように向上するか？
• RQ3 事前学習済みのイベント埋め込みを用いることで、エンドツーエンドでの埋め込み学習に比べてモデルの一般化性能と性能がどの程度向上するか？
• RQ4 イベント系列におけるアテンションを適用することで、関連する歴史的イベントに焦点を当てることでCTR予測性能がさらに向上するか？
• RQ5 ユーザー履歴の最適な長さは何か？また、ある長さを超えると性能が飽和するか？

主な発見

• 提案された事前学習済みイベント埋め込みスキームはCTR予測を著しく向上させ、GRUとアテンションを組み合わせた場合にテストAUCが70.8%に達し、すべてのベースラインを上回った。
• GRUベースのモデルは、すべての設定においてLSTMベースのモデルを上回り、アテンションを組み合わせた場合に最高のAUC70.8%を達成した。
• アテンションメカニズムは測定可能な性能向上をもたらし、GRUモデルに適用することでAUCが69.7%から70.8%に上昇した。
• 履歴の最後の10件のイベントを使用すると、より短いシーケンスよりも高い性能を示したが、10件を超えると性能は頭打ちとなり、より長い履歴では利得が減少することが示唆された。
• 事前学習済み埋め込みは過学習を軽減しており、訓練AUCとテストAUCの差が、エンドツーエンド学習（0.746 vs. 0.683）と比較して小さい（0.741 vs. 0.711）ことから裏付けられた。
• モデルは未観測アイテムに対しても一般化性能が高く、豊富なコンテンツ特徴を必要とせず、URL、タイトル、説明文から強固な表現を学習していることから、その妥当性が裏付けられた。