[论文解读] Learning from User Interactions with Rankings: A Unification of the Field

Harrie Oosterhuis|arXiv (Cornell University)|Dec 9, 2020

Information Retrieval and Search Behavior参考文献 125被引用 6

一句话总结

本文提出了一种统一的反事实学习排序（LTR）框架，将在线、反事实和监督式 LTR 方法整合到一个统一的理论与算法框架中。通过使用逆倾向得分建模用户点击行为并利用理论保证，该框架在在线和反事实设置下均实现了具有竞争力的性能，相较于缺乏正式理论基础的现有在线方法，展现出更强的可靠性。

ABSTRACT

Ranking systems form the basis for online search engines and recommendation services. They process large collections of items, for instance web pages or e-commerce products, and present the user with a small ordered selection. The goal of a ranking system is to help a user find the items they are looking for with the least amount of effort. Thus the rankings they produce should place the most relevant or preferred items at the top of the ranking. Learning to rank is a field within machine learning that covers methods which optimize ranking systems w.r.t. this goal. Traditional supervised learning to rank methods utilize expert-judgements to evaluate and learn, however, in many situations such judgements are impossible or infeasible to obtain. As a solution, methods have been introduced that perform learning to rank based on user clicks instead. The difficulty with clicks is that they are not only affected by user preferences, but also by what rankings were displayed. Therefore, these methods have to prevent being biased by other factors than user preference. This thesis concerns learning to rank methods based on user clicks and specifically aims to unify the different families of these methods. As a whole, the second part of this thesis proposes a framework that bridges many gaps between areas of online, counterfactual, and supervised learning to rank. It has taken approaches, previously considered independent, and unified them into a single methodology for widely applicable and effective learning to rank from user clicks.

研究动机与目标

• 统一从用户交互中学习排序的不同方法，包括在线、反事实和监督式 LTR。
• 开发一个单一的理论框架，其保证强于当前的在线 LTR 方法。
• 通过将它们建立在共同的反事实推理框架之上，弥合在线、反事实和监督式学习排序之间的差距。
• 在多样的用户行为假设和实验设置下，评估统一框架的鲁棒性和有效性。
• 识别现有在线 LTR 方法的理论局限性，并提出一种基于反事实推理的更可靠替代方案。

提出的方法

• 该框架采用逆倾向得分来估计从观察到的用户点击中得出的项目真实相关性，以纠正位置偏差和其他选择效应。
• 它采用反事实推理方法对用户行为进行建模，假设点击概率可分解为相关性和可观测概率。
• 该方法引入了一种统一的学习算法，可在在线和反事实设置中使用相同的无偏估计原理。
• 提出了一种新颖的多路混合比较方法，以实现在在线评估中具备公平性和保真度理论保证的敏感且可扩展的评估。
• 该框架支持可微分的在线学习排序（PDGD），并可与现有的反事实估计器（如基于逆概率加权的方法）集成。
• 理论分析表明，在关于用户行为的标准假设下，反事实 LTR 框架是无偏的，而当前的在线 LTR 方法缺乏明确的有效性条件。

实验结果

研究问题

• RQ1 能否通过用户点击数据，使用单一框架统一在线、反事实和监督式学习排序方法？
• RQ2 反事实 LTR 在什么条件下是无偏的？其在实际应用中与在线 LTR 相比如何？
• RQ3 为何某些在线 LTR 方法（如 PDGD 和 COLTR）在未完全在线应用时表现不佳？其有效性的理论条件是什么？
• RQ4 反事实 LTR 框架能否扩展到更复杂的用户行为模型，如级联模型或与上下文相关的位罝偏差？
• RQ5 如何将反事实 LTR 适应于优化复杂目标，如排序中的多样性与公平性？

主要发现

• 反事实 LTR 框架在在线和反事实评估设置下，性能与在线 LTR 方法相当。
• 反事实 LTR 提供了强于在线 LTR 的理论保证，而后者目前缺乏明确的有效性条件。
• 当未完全在线应用时，PDGD 和 COLTR 方法表现不佳，表明其操作边界的理论理解仍不充分。
• 所提出的多路混合比较方法提供了敏感、可扩展且理论基础坚实的评估，具备周全性和保真度保证。
• 由于理论基础不明确，现有在线 LTR 方法的性能仍不可预测，而反事实 LTR 提供了更可靠的替代方案。
• 未来工作应将该框架扩展至复杂的用户行为模型和多目标优化，如相关性、多样性和公平性。