[論文レビュー] Deeply Supervised Semantic Model for Click-Through Rate Prediction in Sponsored Search

Jelena Gligorijević, Djordje Gligorijevic+4 more|arXiv (Cornell University)|Mar 28, 2018

Web Data Mining and Analysis参考文献 33被引用数 3

ひとこと要約

本稿では、二重損失最適化を用いてクエリと広告の埋め込みおよびクリック予測率（CTR）予測を共同で学習する深層監視意味的モデル（DSM）を提案する。10億件のクエリ-広告ペairでエンドツーエンド学習を実施し、新規のコhortネガティブサンプリング技術を組み込むことで、最先端のベースライン比でAUCを2%向上させ、クエリ-広告マッチングにおいてNDCGを0.5%向上させ、特徴工学を一切行わずに優れた汎化性能と意味的関連性の学習を実現した。

ABSTRACT

In sponsored search it is critical to match ads that are relevant to a query and to accurately predict their likelihood of being clicked. Commercial search engines typically use machine learning models for both query-ad relevance matching and click-through-rate (CTR) prediction. However, matching models are based on the similarity between a query and an ad, ignoring the fact that a retrieved ad may not attract clicks, while click models rely on click history, being of limited use for new queries and ads. We propose a deeply supervised architecture that jointly learns the semantic embeddings of a query and an ad as well as their corresponding CTR.We also propose a novel cohort negative sampling technique for learning implicit negative signals. We trained the proposed architecture using one billion query-ad pairs from a major commercial web search engine. This architecture improves the best-performing baseline deep neural architectures by 2\% of AUC for CTR prediction and by statistically significant 0.5\% of NDCG for query-ad matching.

研究の動機と目的

• クリック履歴に大きく依存する既存のCTR予測モデルが、新しいクエリや広告に一般化できないという限界を解消すること。
• クエリと広告の埋め込みとCTR予測を共同で学習することで、クエリと広告の意味的関連性を向上させること。
• 意味的類似性やクリック行動を明示的に最適化しないエンドツーエンドモデルの欠陥を克服すること。
• クリックデータからの暗黙のネガティブ信号を活用して、モデルの汎化性能と性能を向上させる手法を開発すること。
• 深層監視によるCTR予測とクエリ-広告マッチングの共同学習が、より強固で正確なモデルをもたらすことを実証すること。

提案手法

• 生テキストから文脈的で分散型の埋め込みをクエリと広告の両方について、双方向RNNとアテンション機構を用いて学習する。
• 畳み込みニューラルネットワーク（CNN）を用いてクエリと広告の埋め込みを統合し、最終層にシグモイド活性化関数を用いてCTRを予測する。
• マルチタスク学習フレームワーク内で、CTR予測用とクエリ-広告埋め込み間の意味的マッチング用の2つの異なるロジスティック損失を最適化する。
• クリックスルーデータから暗黙のネガティブペアを同定する、新規のコhortネガティブサンプリング戦略を導入し、明示的なラベルなしに表現学習を向上させる。
• CTR予測ヘッドと意味的マッチングヘッドの両方から勾配をバックプロパゲーションし、すべての下位層に伝播させる深層監視を適用する。
• 商業的Web検索エンジンから得た10億件のクエリ-広告ペアを用いて、全アーキテクチャをエンドツーエンドで学習し、レアで新しいクエリに対しても強固な一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 クリックスルーデータにのみ学習させたモデルと比較して、CTR予測と意味的埋め込みの共同学習がモデル性能を向上させるか。
• RQ2 CTRと意味的マッチングの両方を最適化する二重損失アーキテクチャを導入することで、AUCおよびNDCG指標にどのような影響を与えるか。
• RQ3 明示的なネガティブラベルが存在しない状況で、コhortネガティブサンプリングがどれほどモデルの一般化性能と表現品質を向上させるか。
• RQ4 主な目的でないにもかかわらず、学習されたクエリおよび広告埋め込みがクエリ-広告マッチングタスクを効果的にサポートできるか。
• RQ5 提案手法は、多様なデータ条件下で、最先端のディープラーニングモデルおよび従来のモデルを上回る性能をCTR予測および意味的マッチングの両方で示せるか。

主な発見

• DSMモデルは、最も性能の高かったベースラインモデルのCTR予測AUCを2%向上させ、ウィルコクソン符号順位検定による統計的有意性のp値が8.63e-5であった。
• クエリ-広告マッチングタスクにおいて、最も優れたベースラインよりNDCG@7で統計的に有意な0.5%の向上を達成し、p値は2.69e-5であった。
• アブレーションスタディにより、意味的マッチング損失を削除するとAUCが0.7671に低下することが確認され、CTR予測品質への貢献が裏付けられた。
• DSMモデルは、精度@KおよびNDCG@Kを含むすべての評価指標において、従来のモデル（例：GBDT、BM25）およびディープラーニングベースラインを上回った。
• 異なるデータスケール、クエリ頻度、広告位置、埋め込み選択の下でも一貫した性能を維持しており、強力なロバストネスを示した。
• 理論的分析により、提案されたコhortネガティブサンプリング手法の収束性が確認され、クリックデータからの暗黙のネガティブ信号を効果的に捉えることができた。