[论文解读] A Novel Algorithm for Unbiased Learning to Rank.

Ziniu Hu, Yang Wang+2 more|arXiv (Cornell University)|Sep 16, 2018

Information Retrieval and Search Behavior参考文献 26被引用 3

一句话总结

本文提出了一种新颖的成对学习排序算法，联合估计点击位置和未点击位置的基于位置的点击偏差，从而实现使用点击数据进行无偏训练。通过在统一的成对框架内整合偏差估计与排序器学习，该方法在基准实验和商业搜索引擎中的在线A/B测试中，显著优于现有的IPW方法。

ABSTRACT

Although click data is widely used in search systems in practice, so far the inherent bias, most notably position bias, has prevented it from being used in training of a ranker for search, i.e., learning-to-rank. Recently, a number of authors have proposed new techniques referred to as 'unbiased learning-to-rank', which can reduce position bias and train a relatively high-performance ranker using click data. Most of the algorithms, based on the inverse propensity weighting (IPW) principle, first estimate the click bias at each position, and then train an unbiased ranker with the estimated biases using a learning-to-rank algorithm. However, there has not been a method for pairwise learning-to-rank that can jointly conduct debiasing of click data and training of a ranker using a pairwise loss function. In this paper, we propose a novel algorithm, which can jointly estimate the biases at click positions and the biases at unclick positions, and learn an unbiased ranker. Experiments on benchmark data show that our algorithm can significantly outperform existing algorithms. In addition, an online A/B Testing at a commercial search engine shows that our algorithm can effectively conduct debiasing of click data and enhance relevance ranking.

研究动机与目标

• 解决点击数据中的位置偏差问题，该问题限制了点击信号在训练有效搜索排序器中的应用。
• 克服现有逆倾向加权（IPW）方法的局限性，这些方法分别处理点击和未点击位置，或无法支持成对学习排序。
• 开发一个统一框架，联合估计点击和未点击位置的偏差，同时训练无偏排序器。
• 在无偏学习排序中实现成对损失函数的应用，这在当前无偏学习排序文献中较为罕见。
• 通过离线基准评估和真实世界搜索系统中的在线A/B测试，验证所提方法的有效性。

提出的方法

• 提出一种联合优化框架，使用统一的概率公式建模点击和未点击位置的点击偏差。
• 将逆倾向加权（IPW）原理扩展至未点击位置，通过估计其倾向性得分，而不仅限于点击位置。
• 将偏差估计与排序器训练整合到单一成对学习排序目标中，使用包含估计倾向性的可微分损失函数。
• 使用神经网络或可微模型，在端到端训练过程中联合预测相关性得分并估计位置特定的偏差。
• 应用成对排序损失（例如成对铰链损失或逻辑损失），并利用对点击和未点击项目估计的逆倾向性进行校正。
• 确保模型在训练过程中最小化无偏成对排序误差，从而提升泛化能力并减少预测中的位置偏差。

实验结果

研究问题

• RQ1 成对学习排序算法能否联合估计点击和未点击位置的偏差，以减少点击数据中的位置偏差？
• RQ2 将偏差估计与排序器训练整合到单一可微分框架中，是否能比分别进行估计与训练获得更好的泛化性能？
• RQ3 与现有基于IPW的无偏学习排序方法相比，所提方法在基准数据集上的排序性能如何？
• RQ4 该算法是否能在真实世界商业搜索引擎中提升相关性排序，经由在线A/B测试验证？

主要发现

• 所提算法在标准基准数据集上显著优于现有无偏学习排序方法，表现出更强的排序有效性。
• 对点击和未点击位置偏差的联合估计，相比仅建模点击位置的方法，能实现更精确的去偏。
• 在无偏框架中使用成对损失函数，相比点对点或列表级基线，能实现更好的泛化能力和更稳定的训练。
• 在商业搜索引擎中的在线A/B测试证实，该算法通过有效减少位置偏差，显著提升了相关性排序。
• 该方法在NDCG和MAP等标准信息检索指标上实现了可测量的提升，表明模型具有更强的泛化能力和鲁棒性。
• 该算法在实际部署中具备可扩展性和实用性，已成功集成至生产级搜索系统。