[论文解读] Learning to Order Things

William W. Cohen, Robert E. Schapire+1 more|May 27, 2011

Machine Learning and Algorithms参考文献 10被引用 35

一句话总结

本文提出一种两阶段方法，通过偏好判断学习实例排序，其中偏好函数通过在线算法（基于Hedge）学习，随后利用贪心近似方法对新实例进行排序。主要贡献在于证明最优排序为NP完全问题，但可高效近似，并在网页搜索专家组合中进行了实验验证。

ABSTRACT

There are many applications in which it is desirable to order rather than classify instances. Here we consider the problem of learning how to order instances given feedback in the form of preference judgments, i.e., statements to the effect that one instance should be ranked ahead of another. We outline a two-stage approach in which one first learns by conventional means a binary preference function indicating whether it is advisable to rank one instance before another. Here we consider an on-line algorithm for learning preference functions that is based on Freund and Schapire's 'Hedge' algorithm. In the second stage, new instances are ordered so as to maximize agreement with the learned preference function. We show that the problem of finding the ordering that agrees best with a learned preference function is NP-complete. Nevertheless, we describe simple greedy algorithms that are guaranteed to find a good approximation. Finally, we show how metasearch can be formulated as an ordering problem, and present experimental results on learning a combination of 'search experts', each of which is a domain-specific query expansion strategy for a web search engine.

研究动机与目标

• 解决学习排序实例而非分类的问题，动机源于排序比标注更自然的应用场景。
• 开发一种从成对偏好判断中学习偏好函数的方法，此类判断通常比分类标签更容易获取。
• 设计一种高效算法，基于已学习的偏好函数对新实例进行排序，尽管最优解为NP完全问题。
• 在真实场景中评估该框架，具体为在网页搜索中组合多个搜索专家。

提出的方法

• 采用两阶段框架：首先学习二元偏好函数 PREF(u,v)，表示实例 u 是否应排在 v 之前。
• 使用基于 Freund 和 Schapire 的 Hedge 算法的在线学习算法，从偏好判断中学习偏好函数。
• 在第二阶段，通过最大化与已学习偏好函数的一致性来对新实例进行排序。
• 应用贪心算法近似最优总序，且具有近似质量的理论保证。
• 利用偏好学习框架将多个领域特定的查询扩展策略（搜索专家）整合为单一排序模型。
• 通过原始偏好函数的线性组合构建最终偏好函数。

实验结果

研究问题

• RQ1 偏好判断能否比分类或回归更有效地用于学习排序模型？
• RQ2 是否能够利用在线学习算法从成对反馈中高效学习偏好函数？
• RQ3 如何高效计算与已学习偏好函数最一致的新实例总序？
• RQ4 从已学习偏好函数中寻找最优排序的计算复杂度是什么？
• RQ5 该框架能否有效应用于网页搜索中组合多个搜索专家？

主要发现

• 寻找与已学习偏好函数最一致的最优总序问题为 NP 完全问题。
• 尽管为 NP 完全问题，简单的贪心算法仍能保证找到最优排序的良好近似。
• 基于 Hedge 的在线算法能有效从成对反馈中学习偏好函数，且具有理论收敛保证。
• 实验结果表明，利用该框架组合多个搜索专家可提升网页搜索效果。
• 在排序任务中，偏好判断比分类或回归标签更自然且可能更容易获取。
• 该框架成功将多样化的查询扩展策略整合为一个高效统一的网页搜索排序模型。