[论文解读] Bidding via Clustering Ads Intentions: an Efficient Search Engine Marketing System for E-commerce.

Jie Cheng, Da Xu+3 more|arXiv (Cornell University)|Jun 24, 2021

Consumer Market Behavior and Pricing参考文献 29被引用 8

一句话总结

本文提出了一种针对沃尔玛电商的高效搜索引擎营销出价系统，通过基于Transformer的嵌入对广告意图表征进行聚类，以解决特征稀疏性问题并降低计算负载。该系统利用查询和产品上下文中的自然语言信号，实现了在每日数千万次出价中可扩展、可投入生产的出价优化，显著提升了效率与性能。

ABSTRACT

With the increasing scale of search engine marketing, designing an efficient bidding system is becoming paramount for the success of e-commerce companies. The critical challenges faced by a modern industrial-level bidding system include: 1. the catalog is enormous, and the relevant bidding features are of high sparsity; 2. the large volume of bidding requests induces significant computation burden to both the offline and online serving. Leveraging extraneous user-item information proves essential to mitigate the sparsity issue, for which we exploit the natural language signals from the users' query and the contextual knowledge from the products. In particular, we extract the vector representations of ads via the Transformer model and leverage their geometric relation to building collaborative bidding predictions via clustering. The two-step procedure also significantly reduces the computation stress of bid evaluation and optimization. In this paper, we introduce the end-to-end structure of the bidding system for search engine marketing for Walmart e-commerce, which successfully handles tens of millions of bids each day. We analyze the online and offline performances of our approach and discuss how we find it as a production-efficient solution.

研究动机与目标

• 解决因大规模电商商品目录导致的出价特征高度稀疏的挑战。
• 降低大规模搜索引擎营销系统中出价评估与优化的计算负担。
• 利用用户查询和产品上下文中的自然语言信号，改善出价特征表征。
• 开发一种可扩展、生产高效的出价系统，能够处理每日数千万次出价。
• 通过广告嵌入的几何聚类实现协同出价预测，同时不牺牲准确性。

提出的方法

• 使用预训练的Transformer模型提取广告的向量表征，以捕捉用户查询和产品上下文中的语义意图。
• 利用广告嵌入之间的几何关系引导聚类，实现在相似广告间进行协同出价预测。
• 采用两步流程：离线对广告嵌入进行聚类，随后基于聚类级别的模式进行在线出价评估。
• 通过将逐广告特征计算替换为聚类级别推理，降低计算负载，提升服务效率。
• 将基于聚类的模型集成到端到端出价流水线中，实现实时生产环境中的决策。
• 利用上下文知识和用户查询嵌入，缓解大规模电商商品目录中的特征稀疏问题。

实验结果

研究问题

• RQ1 如何有效建模广告意图表征，以减少大规模电商出价系统中的特征稀疏性？
• RQ2 对语义广告嵌入进行聚类在多大程度上能提升出价预测的效率与可扩展性？
• RQ3 两步式聚类与推理流水线是否能显著降低实时出价系统中的计算开销？
• RQ4 与仅依赖稀疏特征的模型相比，利用查询和产品描述中的自然语言信号如何提升出价性能？
• RQ5 在工业规模的搜索引擎营销系统中，模型准确率与计算效率之间的权衡如何？

主要发现

• 所提出的系统在沃尔玛电商的生产环境中成功处理了每日数千万次出价。
• 基于Transformer的广告嵌入聚类显著降低了出价评估与优化的计算负担。
• 利用查询和产品上下文中的自然语言信号有效缓解了出价特征的高稀疏性问题。
• 两步式聚类与推理流水线实现了可扩展的协同出价预测，且未牺牲模型准确性。
• 该系统在在线与离线评估中均表现出色，验证了其作为工业规模出价系统的生产高效解决方案的有效性。