[论文解读] Direct Estimation of Position Bias for Unbiased Learning-to-Rank without Intervention.

Grigor Aslanyan, Utkarsh Porwal|arXiv (Cornell University)|Dec 21, 2018

Information Retrieval and Search Behavior被引用 4

一句话总结

本文提出了一种直接、无需干预的方法，通过利用同一查询-文档对随时间自然发生的排名变化，来估计排序学习系统中的位置偏差。该方法仅依赖于倾向性（propensities）的似然函数进行最大化，从而在不建模相关性或无需实时系统干预的情况下，实现可靠的倾向性估计，在eBay数据上的无偏排序学习中优于基于EM的基线方法。

ABSTRACT

The Unbiased Learning-to-Rank framework has been recently proposed as a general approach to systematically remove biases, such as position bias, from learning-to-rank models. The method takes two steps - estimating click propensities and using them to train unbiased models. Most common methods proposed in the literature for estimating propensities involve some degree of intervention in the live search engine. An alternative approach proposed recently uses an Expectation Maximization (EM) algorithm to estimate propensities by using ranking features for estimating relevances. In this work we propose a novel method to directly estimate propensities which does not use any intervention in live search or rely on modeling relevance. Rather, we take advantage of the fact that the same query-document pair may naturally change ranks over time. This typically occurs for eCommerce search because of change of popularity of items over time, existence of time dependent ranking features, or addition or removal of items to the index (an item getting sold or a new item being listed). However, our method is general and can be applied to any search engine for which the rank of the same document may naturally change over time for the same query. We derive a simple likelihood function that depends on propensities only, and by maximizing the likelihood we are able to get estimates of the propensities. We apply this method to eBay search data to estimate click propensities for web and mobile search and compare these with estimates using the EM method. We also use simulated data to show that the method gives reliable estimates of the true simulated propensities. Finally, we train an unbiased learning-to-rank model for eBay search using the estimated propensities and show that it outperforms both baselines - one without position bias correction and one with position bias correction using the EM method.

研究动机与目标

• 解决排序学习系统中估计位置偏差的挑战，而无需依赖实时系统干预。
• 消除对文档相关性建模的需求，因为相关性建模往往容易出错并引入额外假设。
• 开发一种方法，利用同一查询-文档对随时间产生的自然排名变化作为倾向性估计的信息来源。
• 仅使用可观测的点击数据和排名演化信息，实现无偏排序学习训练，提升模型泛化能力。
• 在真实搜索数据（eBay）和模拟数据上验证该方法的可靠性和有效性，优于现有的基于EM的方法。

提出的方法

• 该方法利用同一查询-文档对在不同时间点的时序排名变化，这些变化自然发生于流行度变化、时间相关特征或索引更新的背景下。
• 其构建了一个仅依赖于点击倾向性和时间有序排名位置上可观测点击模式的似然函数。
• 通过直接最大化该似然函数，估计特定位置的点击倾向性，无需中间的相关性估计步骤。
• 该方法避免任何形式的在线干预或对文档相关性的假设，完全依赖可观测的排名和点击数据。
• 该方法具有通用性，适用于任何同一文档在相同查询下随时间排名可能发生变化的搜索系统。
• 采用闭式解或迭代优化策略求解似然最大化问题，从而获得稳定且一致的倾向性估计。

实验结果

研究问题

• RQ1 是否可以在无需实时系统干预或相关性建模的情况下，可靠地估计位置偏差？
• RQ2 与现有的基于EM的方法相比，该方法在估计真实点击倾向性方面有多高效？
• RQ3 对倾向性的直接估计是否能提升无偏排序学习模型的性能？
• RQ4 该方法在不同搜索环境（如网页搜索和移动搜索）中的泛化能力如何？
• RQ5 在不同数据条件下（包括真实世界和模拟数据）下，该方法的鲁棒性如何？

主要发现

• 所提方法在模拟数据和真实eBay搜索数据上均能产生可靠的点击倾向性估计，与真实模拟的倾向性高度吻合。
• 在eBay的网页和移动搜索数据上，该方法在估计位置偏差方面优于基于EM的基线方法，生成了更准确的倾向性评分。
• 使用所提倾向性估计训练的无偏排序学习模型，其性能优于未经校正的模型以及使用基于EM估计的模型。
• 该方法在不同搜索界面（网页和移动）间表现出强大的泛化能力，表明其对界面特定的排序动态具有鲁棒性。
• 由于未引入相关性建模和实时干预，估计质量并未下降，证实了该方法的实用性和可扩展性。
• 基于似然的优化框架收敛稳定，并在多种评估设置下均产生一致的结果。