[论文解读] Learning Optimal Card Ranking from Query Reformulation

Liangjie Hong, Yue Shi+1 more|arXiv (Cornell University)|Jun 22, 2016

Web Data Mining and Analysis参考文献 31被引用 3

一句话总结

本文提出一种学习标注（learning-to-label）框架，利用用户查询重写作为隐式反馈，为移动搜索中的查询-卡片对生成有效的相关性标签。通过建模卡片对查询重写行为的贡献，该方法在性能上优于人工标注标签和点击信号，其中学习标注（LtL）策略通过学习具有判别性的、与查询相关的卡片相关性权重，实现了最佳表现。

ABSTRACT

Mobile search has recently been shown to be the major contributor to the growing search market. The key difference between mobile search and desktop search is that information presentation is limited to the screen space of the mobile device. Thus, major search engines have adopted a new type of search result presentation, known as extit{information cards}, in which each card presents summarized results from one domain/vertical, for a given query, to augment the standard blue-links search results. While it has been widely acknowledged that information cards are particularly suited to mobile user experience, it is also challenging to optimize such result sets. Typically, user engagement metrics like query reformulation are based on whole ranked list of cards for each query and most traditional learning to rank algorithms require per-item relevance labels. In this paper, we investigate the possibility of interpreting query reformulation into effective relevance labels for query-card pairs. We inherit the concept of conventional learning-to-rank, and propose pointwise, pairwise and listwise interpretations for query reformulation. In addition, we propose a learning-to-label strategy that learns the contribution of each card, with respect to a query, where such contributions can be used as labels for training card ranking models. We utilize a state-of-the-art ranking model and demonstrate the effectiveness of proposed mechanisms on a large-scale mobile data from a major search engine, showing that models trained from labels derived from user engagement can significantly outperform ones trained from human judgment labels.

研究动机与目标

• 为解决移动搜索中查询-卡片相关性标注的挑战，传统基于点击或人工标注的标签因低点击卡片和时效性相关性而不足。
• 探究查询重写（定义为连续相似查询）是否可作为用户满意度和卡片相关性的可靠代理。
• 开发一种可扩展、有原则的标注策略，将用户级别的重写行为映射为每张卡片的相关性得分，用于训练卡片排名模型。
• 证明基于重写数据生成的标签训练的模型，显著优于基于人工判断或点击率（CTR）训练的模型。

提出的方法

• 提出三种标签解释策略：点对点（NPL、DPL、MPL）、成对（APL）和列表级（LL），每种策略将重写事件映射为每张卡片的相关性得分。
• 引入学习标注（LtL）方法，通过回归权重作为标签，训练模型以估计每张卡片对查询重写的贡献。
• 使用最先进的排序模型评估标签质量，基于从重写数据中衍生的标签进行训练，而非人工判断或CTR。
• 应用基于阈值的相似性度量，识别连续查询为重写事件，作为正/负标签分配的基础。
• 采用函数式标签定义（公式4），将点击和浏览信号合并为总值得分，以按参与度贡献对卡片进行排序。
• 通过下游排序性能验证标签质量，在大规模移动搜索数据集上对比LtL与点对点、成对和列表级基线方法。

实验结果

研究问题

• RQ1 在点击信号缺失或不可靠的情况下，能否有效利用查询重写作为移动卡片排名中相关性的代理，尤其是对于低点击卡片？
• RQ2 如何将观测于查询层面的重写事件，有意义地映射为用于训练排序模型的每张卡片相关性得分？
• RQ3 是否一种建模卡片对重写贡献的学习标注策略，能优于传统标注方法（如人工判断或CTR）？
• RQ4 在基于重写数据训练时，不同标签解释策略（点对点、成对、列表级）的相对性能如何？
• RQ5 基于重写数据生成的标签训练出的卡片排名模型，是否能实现优于基于CTR或人工标注标签训练的模型的性能？

主要发现

• 学习标注（LtL）策略在所有指标上均表现最佳，优于基于人工判断的标签和基于CTR的标签。
• LtL通过学习卡片对重写的贡献，生成具有高判别力的标签，实现优异的真正例率（TPR）和低假正例率（TNR）。
• 点对点方法DPL表现良好，通过保持正负样本间的排序顺序，实现了较高的F1值。
• APL作为成对方法，取得第二好的性能，实现了良好与差对之间的良好平衡，同时保持了较低的计算复杂度。
• NPL和MPL表现欠佳，分别因标签干扰和对单张卡片移动的过度惩罚，凸显了保持排序结构的重要性。
• LtL的回归权重提供了可解释的洞察——例如，'Barack Obama'查询中，NewsCard和WebCard高度相关，而NavigationCard在'Apple'查询中占主导地位——验证了模型的功能可解释性。