[论文解读] An efficient reduction of ranking to classification

Nir Ailon, Mehryar Mohri|ArXiv.org|Oct 15, 2007

Complexity and Algorithms in Graphs参考文献 24被引用 52

一句话总结

本文提出了一种从排序到二元分类的随机化归约方法，实现了平均成对误排序的最优遗憾界 r，优于 Balcan 等人提出的 2r 因子保证。该方法采用一种新颖的锦标赛式排序算法，具有 O(n log n) 的期望时间复杂度，因此在搜索引擎和信息抽取等大规模应用中具有高效性。

ABSTRACT

This paper describes an efficient reduction of the learning problem of ranking to binary classification. The reduction guarantees an average pairwise misranking regret of at most that of the binary classifier regret, improving a recent result of Balcan et al which only guarantees a factor of 2. Moreover, our reduction applies to a broader class of ranking loss functions, admits a simpler proof, and the expected running time complexity of our algorithm in terms of number of calls to a classifier or preference function is improved from $Ω(n^2)$ to $O(n \log n)$. In addition, when the top $k$ ranked elements only are required ($k \ll n$), as in many applications in information extraction or search engines, the time complexity of our algorithm can be further reduced to $O(k \log k + n)$. Our reduction and algorithm are thus practical for realistic applications where the number of points to rank exceeds several thousands. Much of our results also extend beyond the bipartite case previously studied. Our rediction is a randomized one. To complement our result, we also derive lower bounds on any deterministic reduction from binary (preference) classification to ranking, implying that our use of a randomized reduction is essentially necessary for the guarantees we provide.

研究动机与目标

• 开发一种高效的排序问题到二元分类的归约方法，以最小化成对误排序的遗憾。
• 在 Balcan 等人 2r 遗憾界的基 础上，实现最优的 r 遗憾界，从而提供更紧密的泛化保证。
• 将完整排序的时间复杂度从 Ω(n²) 降低至 O(n log n)，并在仅需前 k 个元素时进一步降低至 O(k log k + n)。
• 通过证明确定性归约的下界，表明随机化在实现最优遗憾界方面本质上是必要的。
• 将框架扩展至双分图排序之外，支持更广泛的排序损失函数类别。

提出的方法

• 提出一种随机化算法，利用二元分类器的置信度分数构建所有元素对 u,v 的偏好函数 h(u,v)。
• 采用类似快速排序的改进过程，基于来自 h 的成对比较对元素进行排序，确保 O(n log n) 的期望时间复杂度。
• 引入基于锦标赛度的排序策略，并结合随机选择机制，以最小化期望成对误排序遗憾。
• 应用从快速排序分析中导出的集中不等式，以限制与期望性能的偏离，增强鲁棒性。
• 使用按总对数或混合对数归一化的损失函数，并证明在两种归一化方式下均成立的遗憾界。
• 通过在三元素集合上构造对抗性实例，建立下界，表明任何确定性算法都无法实现优于 2r 的遗憾。

实验结果

研究问题

• RQ1 当从排序归约为二元分类时，能否将遗憾界从 2r 改进至 r？
• RQ2 是否可能在保持最优遗憾界的前提下，将排序算法的时间复杂度从 Ω(n²) 降低至 O(n log n)？
• RQ3 将偏好函数转换为线性排序的最小计算成本是多少？随机化对此有何影响？
• RQ4 该归约方法能否推广至双分图排序设置之外，以支持更广泛的排序损失函数类别？
• RQ5 在从分类到排序的归约中，随机化是否为实现最优遗憾界所必需？

主要发现

• 所提算法的平均成对误排序遗憾不超过 r，其中 r 为二元分类器的遗憾，优于 Balcan 等人的 2r 保证。
• 完整排序的期望运行时间复杂度为 O(n log n)，当仅需前 k 个元素时为 O(k log k + n)，显著优于 Ω(n²)。
• 证明了下界，表明任何确定性算法都无法实现优于 2r 的遗憾，意味着随机化对实现最优性能至关重要。
• 该方法适用于更广泛的排序损失函数类别，而不仅限于双分图情形，且在不同归一化方案下均保持遗憾界成立。
• 算法对置信度分数的变化具有鲁棒性，基于快速排序分析导出的集中不等式确保了稳定性。
• 该框架在大规模应用中具有实用性，如搜索引擎和信息抽取，其中 n 超过数千个元素。