[论文解读] Did We Get It Right? Predicting Query Performance in E-commerce Search

Rohan Kumar, M. Jagadesh Kumar+2 more|arXiv (Cornell University)|Aug 1, 2018

Information Retrieval and Search Behavior参考文献 18被引用 8

一句话总结

本文提出了一种机器学习模型，利用丰富的用户交互信号（超越简单的点击率）来预测电子商务搜索查询的性能，其在保留测试集上的平均AUC达到0.75。结果表明，诸如加购时间、点击次数和商品可见性等信号能显著提升性能预测能力，尤其在手机等高影响力品类中，AUC高达0.90。

ABSTRACT

In this paper, we address the problem of evaluating whether results served by an e-commerce search engine for a query are good or not. This is a critical question in evaluating any e-commerce search engine. While this question is traditionally answered using simple metrics like query click-through rate (CTR), we observe that in e-commerce search, such metrics can be misleading. Upon inspection, we find cases where CTR is high but the results are poor and vice versa. Similar cases exist for other metrics like time to click which are often also used for evaluating search engines. We aim to learn the quality of the results served by the search engine based on users' interactions with the results. Although this problem has been studied in the web search context, this is the first study for e-commerce search, to the best of our knowledge. Despite certain commonalities with evaluating web search engines, there are several major differences such as underlying reasons for search failure, and availability of rich user interaction data with products (e.g. adding a product to the cart). We study large-scale user interaction logs from Flipkart's search engine, analyze behavioral patterns and build models to classify queries based on user behavior signals. We demonstrate the feasibility and efficacy of such models in accurately predicting query performance. Our classifier is able to achieve an average AUC of 0.75 on a held-out test set.

研究动机与目标

• 解决传统指标（如点击率CTR）在评估电子商务搜索性能时的局限性。
• 识别出一组比仅使用CTR更能反映查询质量的更丰富的用户交互信号。
• 构建一个分类模型，用于预测人类专家会将某次查询的结果评为“令人满意”（SAT）还是“未令人满意”（DSAT）。
• 实现在真实电子商务环境中搜索引擎性能的自动化、可扩展评估。
• 通过早期识别问题查询，提升搜索质量迭代效率，特别是在高收入品类中。

提出的方法

• 该模型使用用户交互的隐式反馈信号，包括点击、点击时间、加购时间以及立即购买时间。
• 利用查询级别的特征，如找到的商品数量、点击次数以及商品可见性，对查询性能进行分类。
• 分类器基于Flipkart电商平台的大规模用户交互日志进行训练，人类标注的评分作为真实标签。
• 定义了一个二分类任务：预测某次查询的结果是否被人类专家评为“令人满意”（SAT）或“未令人满意”（DSAT）。
• 通过在保留测试集上的AUC进行模型评估，并在不同品类、查询类型和查询量段进行消融研究。
• 特征重要性分析识别出加购时间与点击次数等关键信号，是查询性能的强预测因子。

实验结果

研究问题

• RQ1 除了点击率（CTR）之外，用户交互信号是否能更准确地预测电子商务搜索中的查询性能？
• RQ2 不同类型用户行为（如加购时间或立即购买时间）与人工标注的查询质量之间存在何种相关性？
• RQ3 模型性能在不同产品品类、查询类型或查询量段之间是否存在显著差异？
• RQ4 当CTR较高时，模型是否仍能可靠检测出低性能查询，从而克服CTR作为代理指标的局限性？
• RQ5 隐式反馈信号在多大程度上能够实现大规模自动化评估搜索引擎性能？

主要发现

• 分类器在保留测试集上的平均AUC达到0.75，表明其对查询性能具有强大的预测能力。
• 在“手机”品类中性能显著更高，AUC达到0.90，表明其在高收入细分市场中具有很强的适用性。
• 模型在“产品”类查询中表现最佳——用户意图明确，AUC达0.87，而“类目”查询为0.74，“类目属性”查询为0.72。
• 随着查询量的增加，分类器性能提升：头部查询（Head）AUC为0.76，中段高（TorsoHigh）为0.75，中段低（TorsoBottom）为0.72。
• 模型识别出加购时间与点击次数为特别强的信号，其在检测低质量结果方面优于仅使用CTR。
• 对于“手机”品类的查询，模型性能显著更优，可能是因为该品类中“产品”类查询占比更高，而“类目属性”类查询占比更低。