[论文解读] EENMF: An End-to-End Neural Matching Framework for E-Commerce Sponsored Search

Wenjin Wu, Guojun Liu+6 more|arXiv (Cornell University)|Dec 4, 2018

Recommender Systems and Techniques参考文献 25被引用 24

一句话总结

本文提出EENMF，一种用于电商信息流广告搜索的端到端神经匹配框架，通过联合优化基于向量的广告召回与神经预排序，利用用户行为序列实现。通过采用基于注意力机制的GRU-RNN建模用户查询与近期交互行为，结合与排序阶段CTR模型一致的点对点交叉熵损失进行训练，EENMF在真实部署中显著提升了广告匹配的效率与效果，优于基于关键词的基线方法。

ABSTRACT

E-commerce sponsored search contributes an important part of revenue for the e-commerce company. In consideration of effectiveness and efficiency, a large-scale sponsored search system commonly adopts a multi-stage architecture. We name these stages as ad retrieval, ad pre-ranking and ad ranking. Ad retrieval and ad pre-ranking are collectively referred to as ad matching in this paper. We propose an end-to-end neural matching framework (EENMF) to model two tasks---vector-based ad retrieval and neural networks based ad pre-ranking. Under the deep matching framework, vector-based ad retrieval harnesses user recent behavior sequence to retrieve relevant ad candidates without the constraint of keyword bidding. Simultaneously, the deep model is employed to perform the global pre-ranking of ad candidates from multiple retrieval paths effectively and efficiently. Besides, the proposed model tries to optimize the pointwise cross-entropy loss which is consistent with the objective of predict models in the ranking stage. We conduct extensive evaluation to validate the performance of the proposed framework. In the real traffic of a large-scale e-commerce sponsored search, the proposed approach significantly outperforms the baseline.

研究动机与目标

• 解决电商信息流广告搜索中基于关键词的广告召回效率低下问题，尤其针对长尾查询，广告主难以对所有相关关键词进行竞价。
• 克服因计算复杂度限制，无法在广告匹配阶段使用深度模型与个性化特征的局限性。
• 通过在点对点交叉熵损失上进行训练，统一匹配阶段与排序阶段的优化目标，使其与CTR预测模型保持一致。
• 实现无需关键词的广告召回，通过学习得到的用户与广告嵌入向量，提升对新词与长尾查询的覆盖能力。

提出的方法

• 采用基于注意力机制的GRU-RNN将用户查询与近期行为序列编码为密集用户向量，捕捉序列性与上下文意图。
• 训练深度神经网络以计算用户向量与广告向量之间的语义相似度，实现无关键词约束的向量化广告召回。
• 通过离线推理生成并索引所有广告的嵌入向量（$V_a$），实现在在线推理阶段的快速召回。
• 基于搜索曝光日志，使用点对点交叉熵损失联合训练召回与预排序模块，使其与排序阶段的目标保持一致。
• 利用同一深度模型将多种召回路径（如基于关键词与基于向量）整合到统一的全局预排序阶段。
• 对向量召回的广告应用OCPC（优化点击成本）进行出价优化，确保广告主的成本效率。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在保持或提升匹配性能的前提下，有效替代基于关键词的广告召回，转而采用基于向量的召回？
• RQ2 个性化用户行为序列在多大程度上能提升信息流广告搜索中的广告匹配准确率？
• RQ3 在点对点交叉熵损失上训练匹配模型，是否能增强其与排序阶段下游CTR预测模型的一致性？
• RQ4 与传统基于关键词的系统相比，该框架在真实电商流量环境下的表现如何？

主要发现

• EENMF框架在大规模电商信息流广告搜索平台的真实流量中，显著优于基于关键词的基线方法。
• 基于向量的广告召回能够有效覆盖长尾与新出现的查询，这些查询在关键词竞价下难以被充分服务。
• 通过注意力机制的GRU-RNN整合用户行为序列，显著提升了召回广告候选的相关性。
• 在点对点交叉熵损失上进行训练，使匹配阶段与排序阶段目标更加一致，从而整体提升系统性能。
• 该框架成功在一个端到端模型中同时支持召回与全局预排序，降低系统复杂度并提升效率。
• 线上评估结果证实，EENMF在不牺牲系统效率的前提下显著提升了广告匹配的有效性，适用于大规模生产环境部署。