[论文解读] Consistent Position Bias Estimation without Online Interventions for Learning-to-Rank

Aman Agarwal, Ivan Zaitsev+1 more|arXiv (Cornell University)|Jun 9, 2018

Information Retrieval and Search Behavior参考文献 5被引用 5

一句话总结

本文提出了一种一致且无需干预的方法，通过利用多个排序模型的隐式反馈来估计学习排序中的位置偏差。通过利用不同排序器之间的干预对，并基于最大似然估计建模点击行为，该方法在无需人工标注、在线干预或严格相关性假设的情况下，实现了统计上一致的倾向性估计。

ABSTRACT

Presentation bias is one of the key challenges when learning from implicit feedback in search engines, as it confounds the relevance signal with uninformative signals due to position in the ranking, saliency, and other presentation factors. While it was recently shown how counterfactual learning-to-rank (LTR) approaches \cite{Joachims/etal/17a} can provably overcome presentation bias if observation propensities are known, it remains to show how to accurately estimate these propensities. In this paper, we propose the first method for producing consistent propensity estimates without manual relevance judgments, disruptive interventions, or restrictive relevance modeling assumptions. We merely require that we have implicit feedback data from multiple different ranking functions. Furthermore, we argue that our estimation technique applies to an extended class of Contextual Position-Based Propensity Models, where propensities not only depend on position but also on observable features of the query and document. Initial simulation studies confirm that the approach is scalable, accurate, and robust.

研究动机与目标

• 解决在依赖隐式反馈时，学习排序中呈现偏差的挑战。
• 克服现有倾向性估计方法的局限性，这些方法需要人工相关性判断、在线干预或强相关性建模假设。
• 在位置基础模型（PBM）及其扩展——上下文PBM（CPBM）下，开发一种一致且可扩展的相对倾向性估计方法。
• 利用多个排序函数产生的自然数据，实现在不干扰用户体验或额外在线实验的情况下的一致估计。

提出的方法

• 将来自多个排序函数的隐式反馈日志作为自然干预的一种形式，其中不同排序器在结果排序上存在差异。
• 定义干预集合 $S_{k,k'}$，其中某一文档在某一排序器中排在位置 $k$，在另一排序器中排在位置 $k'$，从而实现对点击行为的比较。
• 通过基于最大似然估计（MLE）的目标函数，估计相对倾向性 $\hat{p}_k / \hat{p}_1$，该函数对干预对中的点击和未点击事件进行建模。
• 使用加权点击通过率 $\hat{c}_k^{k,k'}$ 和 $\hat{\neg c}_k^{k,k'}$ 来考虑文档暴露程度的差异，从而提高数据效率。
• 构建MLE目标函数：$\sum_{k \neq k'} \hat{c}_k^{k,k'} \log(\hat{p}_k \hat{r}_{k,k'}) + \hat{\neg c}_k^{k,k'} \log(1 - \hat{p}_k \hat{r}_{k,k'})$，其中 $\hat{r}_{k,k'}$ 表征相对相关性变化。
• 证明所得 $\hat{p}_k / \hat{p}_1$ 在PBM和CPBM模型下，是对真实相对倾向性的相合估计量。

实验结果

研究问题

• RQ1 是否可以在无需在线干预或人工相关性标注的情况下获得一致的倾向性估计？
• RQ2 如何利用多个排序函数的数据，以统计上一致的方式估计位置偏差？
• RQ3 当排序器在结果排序上高度相似或差异显著时，该方法是否仍具鲁棒性？
• RQ4 该方法能否扩展到上下文PBM，其中检查概率依赖于查询和文档的特征？
• RQ5 在现实噪声模型和不同排序器重叠程度下，该方法的表现如何？

主要发现

• 所提出的基于MLE的方法在无需在线干预或人工相关性标签的情况下，实现了对相对倾向性 $\hat{p}_k / \hat{p}_1$ 的一致估计。
• 随着日志数据量的增加，估计精度提高，证实了该方法的理论一致性。
• 即使排序器高度相似（重叠度高）或差异显著，该方法仍保持鲁棒性，仅在极端情况下出现适度的性能下降。
• 该方法在点击数据存在不同噪声水平时，仍保持较低的估计误差，表现出对现实点击模型的强健性。
• 该方法通过允许多个（查询，文档）对参与多个干预集合，充分使用了可用数据，避免了数据浪费。
• 该方法可自然扩展至上下文PBM，其中检查概率依赖于查询和文档的可观测特征。