[论文解读] An end-to-end Generative Retrieval Method for Sponsored Search Engine --Decoding Efficiently into a Closed Target Domain

Yijiang Lian, Zhijie Chen+12 more|arXiv (Cornell University)|Feb 2, 2019

Web Data Mining and Analysis参考文献 26被引用 10

一句话总结

该论文提出了一种用于信息流广告搜索的端到端生成式检索方法（EGRM），该方法利用神经机器翻译技术，直接从查询中生成相关关键词，绕过传统的查询改写和相关性排序流程。通过结合自归一化训练与基于Trie的动态剪枝，该方法将推理时间减少了20多倍，同时保持了高相关性，在线上A/B测试中实现了13.8%的CPM提升和15.4%的CTR提升。

ABSTRACT

In this paper, we present a generative retrieval method for sponsored search engine, which uses neural machine translation (NMT) to generate keywords directly from query. This method is completely end-to-end, which skips query rewriting and relevance judging phases in traditional retrieval systems. Different from standard machine translation, the target space in the retrieval setting is a constrained closed set, where only committed keywords should be generated. We present a Trie-based pruning technique in beam search to address this problem. The biggest challenge in deploying this method into a real industrial environment is the latency impact of running the decoder. Self-normalized training coupled with Trie-based dynamic pruning dramatically reduces the inference time, yielding a speedup of more than 20 times. We also devise an mixed online-offline serving architecture to reduce the latency and CPU consumption. To encourage the NMT to generate new keywords uncovered by the existing system, training data is carefully selected. This model has been successfully applied in Baidu's commercial search engine as a supplementary retrieval branch, which has brought a remarkable revenue improvement of more than 10 percents.

研究动机与目标

• 解决商业搜索引擎中用户查询与广告关键词之间的语义鸿沟问题。
• 消除涉及查询改写与相关性评分的多阶段检索流水线中累积的误差。
• 在有效关键词的封闭、受限领域内，实现高效、实时的关键词生成。
• 通过生成现有系统未捕获的、此前未见的相关关键词，提升检索质量与收益。
• 通过自归一化与混合在线离线服务架构，优化工业部署中的推理速度。

提出的方法

• 采用序列到序列的NMT架构，使用残差RNN编码器与解码器，将查询映射为关键词。
• 在束搜索过程中引入基于Trie的剪枝机制，仅允许输出预批准的有效关键词，实现对封闭领域内关键词的限制。
• 应用自归一化训练，通过减少推理阶段对完整归一化的依赖，稳定并加速解码过程。
• 实现混合在线离线服务架构，将计算负载分担，降低高峰时段的CPU消耗。
• 使用贸易分类器将查询路由至特定领域的前缀树，基于查询上下文实现更快、更精准的解码。
• 精心构建训练数据，重点强调罕见或此前未检索到的关键词，以鼓励探索新的查询-关键词组合。

实验结果

研究问题

• RQ1 端到端生成模型是否能在不牺牲相关性的情况下，替代传统多阶段检索流水线？
• RQ2 如何在不损害速度或质量的前提下，高效地将解码限制在一组有效关键词的封闭集合内？
• RQ3 自归一化训练与基于Trie的剪枝在真实广告搜索系统中，能在多大程度上降低推理延迟？
• RQ4 模型能否生成高质量且新颖的关键词，这些关键词未被现有检索系统覆盖，并带来可衡量的收益提升？
• RQ5 混合在线离线服务策略对系统效率与资源利用率有何影响？

主要发现

• 通过自归一化训练与基于Trie的动态剪枝，EGRM系统在束搜索大小为100时，将解码时间缩短20倍，平均推理时间从1125ms降至32.15ms。
• 采用Trie剪枝后，80%的生成关键词有效；若移除剪枝，束搜索大小为300时有效率仅8%，证明约束解码的必要性。
• 相关性评估显示，与基线系统相比，低质量配对减少了20.7%，高质量配对增加了6.6%。
• 线上A/B测试证实，CPM提升了13.8%，CTR提升了15.4%，表明收益与用户参与度显著提升。
• 模型成功生成了此前未见的关键词，为百度商业搜索引擎带来了10%以上的收益提升。
• 混合在线离线服务架构有效降低了CPU消耗，同时保持了低延迟的实时查询响应。