[論文レビュー] EENMF: An End-to-End Neural Matching Framework for E-Commerce Sponsored Search

Wenjin Wu, Guojun Liu+6 more|arXiv (Cornell University)|Dec 4, 2018

Recommender Systems and Techniques参考文献 25被引用数 24

ひとこと要約

本稿では、ユーザー行動シーケンスを用いてベクトルベースの広告リtrievalとニューラルプリランクを統合的に最適化する、エコマーススポンサーリスト検索向けのエンドツーエンドニューラルマッチングフレームワークEENMFを提案する。ユーザークエリおよび最近のインタラクションを注目メカニズムを備えたGRU-RNNでモデル化し、ランク付け段階のCTRモデルと整合するポイントワイズ交差エントロピー損失を用いて学習することで、EENMFは実環境での導入において、キーワードベースのベースラインを上回る広告マッチングの効果性と効率性を著しく向上させた。

ABSTRACT

E-commerce sponsored search contributes an important part of revenue for the e-commerce company. In consideration of effectiveness and efficiency, a large-scale sponsored search system commonly adopts a multi-stage architecture. We name these stages as ad retrieval, ad pre-ranking and ad ranking. Ad retrieval and ad pre-ranking are collectively referred to as ad matching in this paper. We propose an end-to-end neural matching framework (EENMF) to model two tasks---vector-based ad retrieval and neural networks based ad pre-ranking. Under the deep matching framework, vector-based ad retrieval harnesses user recent behavior sequence to retrieve relevant ad candidates without the constraint of keyword bidding. Simultaneously, the deep model is employed to perform the global pre-ranking of ad candidates from multiple retrieval paths effectively and efficiently. Besides, the proposed model tries to optimize the pointwise cross-entropy loss which is consistent with the objective of predict models in the ranking stage. We conduct extensive evaluation to validate the performance of the proposed framework. In the real traffic of a large-scale e-commerce sponsored search, the proposed approach significantly outperforms the baseline.

研究の動機と目的

• 広告主がすべての関連キーワードに入札できない、特にロングテールクエリにおいてキーワードベースの広告リtrievalの非効率性を解消すること。
• 計算コストの高さのため、広告マッチング段階でパーソナライズド特徴を有するディープラーニングモデルを活用できないという制限を克服すること。
• ランク付け段階のCTR予測モデルと整合するように、ポイントワイズ交差エントロピー損失を用いて最適化の目的関数を統一することで、マッチング段階とランク付け段階の整合性を高めること。
• 学習されたユーザーおよび広告埋め込みを用いたキーワードフリーな広告リtrievalを可能にし、新規およびロングテールクエリのカバレッジを向上させること。

提案手法

• 注目メカニズムを備えたGRU-RNNを用いて、ユーザークエリおよび最近の行動シーケンスを密度ベクトルに符号化し、順序的かつ文脈的な意図を捉える。
• ディープニューラルネットワークを訓練して、ユーザー埋め込みベクトルと広告埋め込みベクトル間の意味的類似度を計算し、キーワード制約なしにベクトルベースの広告リtrievalを可能にする。
• オフライン推論を用いて、すべての広告のための広告埋め込み（$V_a$）を生成・インデックス化し、オンライン推論時の高速リtrievalを実現する。
• 検索インプレッションログから得られるポイントワイズ交差エントロピー損失を用いて、リtrieバルおよびプリランク部を同時に学習し、ランク付け段階の目的関数と整合させる。
• 複数のリtrieバルパス（例：キーワードベースおよびベクトルベース）を、同じディープラーニングモデルを用いて統合されたグローバルプリランク段階に統合する。
• ベクトルリtrieブ広告に対してOCPC（最適化コストパーキャップ）を適用し、広告主のコスト効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングフレームワークは、キーワードベースの広告リtrievalをベクトルベースのリtrieバルに置き換えることで、マッチングパフォーマンスを維持または向上させることができるか？
• RQ2 パーソナライズドユーザー行動シーケンスは、スポンサーリスト検索における広告マッチング精度をどの程度向上させることができるか？
• RQ3 マッチングモデルをポイントワイズ交差エントロピー損失で学習させることで、ランク付け段階の下流CTR予測モデルとの整合性が向上するか？
• RQ4 本稿で提案するフレームワークは、従来のキーワードベースシステムと比較して、実際のエコマーストラフィックにおいてどの程度のパフォーマンスを示すか？

主な発見

• EENMFフレームワークは、大規模なエコマーススポンサーリスト検索プラットフォームにおける実トラフィックにおいて、キーワードベースのベースラインを著しく上回った。
• ベクトルベースの広告リtrieバルにより、キーワード入札では十分にカバーされないロングテールおよび新規クエリに対しても効果的なカバレッジが可能になった。
• 注目メカニズムを備えたGRU-RNNによるユーザー行動シーケンスの統合により、取得された広告候補の関連性が向上した。
• ポイントワイズ交差エントロピー損失で学習させることで、マッチング段階とランク付け段階の整合性が向上し、全体のシステムパフォーマンスが向上した。
• フレームワークは、1つのエンドツーエンドモデルでリtrieバルとグローバルプリランクの両方を効果的にサポートでき、複雑さを軽減し、効率性を向上させた。
• オンライン評価により、EENMFがシステム効率を損なわず広告マッチングの効果性を向上させることを確認した。これにより、大規模な展開に適していることが示された。