[论文解读] A New Active Learning Scheme with Applications to Learning to Rank from Pairwise Preferences

Nir Ailon, Ron Begleiter+1 more|arXiv (Cornell University)|Oct 10, 2011

Machine Learning and Algorithms参考文献 18被引用 9

一句话总结

本文提出了一种新颖的主动学习方案，在仅使用 O(n poly(log n, ε⁻¹)) 次查询的情况下，实现了从成对偏好中学习排序的损失指数收敛。该方法利用了偏好问题的结构性质，适用于精确解和凸松弛设置（包括 SVM 和逻辑回归），在低维特征空间中实现了更高的查询效率。

ABSTRACT

We consider the statistical learning setting of active learning in which the learner chooses which examples to obtain labels for. We identify a useful general purpose structural property of such learning problems, giving rise to a query-efficient iterative procedure achieving approximately optimal loss at an exponentially fast rate, where the rate is measured in units of error per label. The effectiveness of our ideas is demonstrated on the problem of learning to rank from pairwise preference labels, known as minimum feedback arc-set in tournaments when all the quadratically many preferences are given as input. The net result is an efficient selective sampling method for this problem, achieving a (1 + e)competitive result using only O(n poly(logn, e−1)) preference queries from the quadratically many. This result is information theoretical in nature because it shows how to efficiently select information, not how to use it (computationally) for optimization. Nevertheless, our ideas transfer quite seamlessly to a convex relaxation counterpart, giving rise to an iterative algorithm with an exponential convergence rate to a relaxation optimum. SVM and logistic regression are, in particular, notable examples of relaxation for which this result applies. Such relaxations are popular in applications where the set of alternatives we wish to rank is embedded in a real vector space (feature space), and we wish to fit a permutation induced by a linear function to the preference information. Moreover, in the particular case of constant dimensional feature space, we obtain a slight additional improvement in the query complexity as a function of the number of alternatives using the powerful notion of e-relative approximations in bounded VC dimension spaces. We believe that our iterative scheme and analysis method are interesting in their own right and will find use in other problems. ∗Technion [e-mail] †Technion [e-mail] ‡NYU Courant Institute [e-mail]

研究动机与目标

• 开发一种针对成对偏好反馈的排序问题的查询高效主动学习方法。
• 识别一种通用的结构性质，以实现在主动学习设置下的快速收敛。
• 在反馈弧集问题背景下，以最少的标签查询实现近似最优性能。
• 将该方法扩展至 SVM 和逻辑回归等凸松弛形式，以适用于实际的排序应用。
• 利用 e-相对近似方法，在低维特征空间中进一步降低查询复杂度。

提出的方法

• 该方法提出了一种基于学习问题结构性质的迭代主动学习过程，确保每轮标签查询的损失实现指数收敛。
• 当所有成对偏好均可用时，将排序问题形式化为最小反馈弧集问题。
• 采用选择性采样方法识别最具信息量的成对比较，以最小化冗余查询。
• 对于凸松弛问题，应用一种迭代算法，实现对松弛最优解的指数收敛。
• 在常数维特征空间中，利用 e-相对近似进一步降低查询复杂度。
• 该框架具有通用性，适用于任何由特征空间中线性函数诱导偏好的问题。

实验结果

研究问题

• RQ1 能否设计一种通用的主动学习方案，使排序问题在成对反馈下实现每标签查询的损失指数收敛？
• RQ2 偏好问题的何种结构性质能够实现主动学习中高效查询选择？
• RQ3 如何在保持 (1+ε)-竞争性能的前提下，最小化所需偏好查询的数量？
• RQ4 SVM 和逻辑回归等凸松弛方法在多大程度上能从该主动学习方案中受益？
• RQ5 在有界 VC 维空间中，e-相对近似能否在低维特征设置下进一步降低查询复杂度？

主要发现

• 所提出的主动学习方案仅使用 O(n poly(log n, ε⁻¹)) 次偏好查询，即实现了 (1+ε)-竞争性能，显著减少了所需标签数量。
• 该方法确保每标签查询的损失实现指数收敛，从而在标签使用效率方面表现出极高效率。
• 该方法在查询选择方面具有信息论最优性，尽管在计算优化方面未必最优。
• 对于 SVM 和逻辑回归等凸松弛问题，该方法提供了一种迭代算法，可实现对松弛最优解的指数收敛。
• 在常数维特征空间中，通过 e-相对近似进一步提升了查询复杂度，增强了效率。
• 该方法具有通用性，适用于任何偏好由特征空间中线性函数诱导的排序问题。