[论文解读] Surrogate Regret Bounds for Bipartite Ranking via Strongly Proper Losses

Shivani Agarwal|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Jul 2, 2012

Auction Theory and Applications参考文献 36被引用 44

一句话总结

本文为双分类排序问题建立了显式代理损失后悔界，采用其引入的一类广泛损失——强适当复合损失，相较于以往工作，提供了更简单且更通用的框架。研究表明，排序后悔可被这些损失的后悔所上界控制，且无需隐藏的平衡项；在低噪声条件下，该上界更为紧密。

ABSTRACT

The problem of bipartite ranking, where instances are labeled positive or negative and the goal is to learn a scoring function that minimizes the probability of mis-ranking a pair of positive and negative instances (or equivalently, that maximizes the area under the ROC curve), has been widely studied in recent years. A dominant theoretical and algorithmic framework for the problem has been to reduce bipartite ranking to pairwise classification; in particular, it is well known that the bipartite ranking regret can be formulated as a pairwise classification regret, which in turn can be upper bounded using usual regret bounds for classification problems. Recently, Kotlowski et al. (2011) showed regret bounds for bipartite ranking in terms of the regret associated with balanced versions of the standard (non-pairwise) logistic and exponential losses. In this paper, we show that such (non-pairwise) surrogate regret bounds for bipartite ranking can be obtained in terms of a broad class of proper (composite) losses that we term as strongly proper. Our proof technique is much simpler than that of Kotlowski et al. (2011), and relies on properties of proper (composite) losses as elucidated recently by Reid and Williamson (2010, 2011) and others. Our result yields explicit surrogate bounds (with no hidden balancing terms) in terms of a variety of strongly proper losses, including for example logistic, exponential, squared and squared hinge losses as special cases. We also obtain tighter surrogate bounds under certain low-noise conditions via a recent result of Clemencon and Robbiano (2011).

研究动机与目标

• 为使用非成对代理损失来界定双分类排序后悔提供一个通用框架。
• 定义并表征一类新损失——强适当复合损失，统一并扩展了广泛使用的损失函数。
• 通过避免依赖分布的平衡项，简化并推广先前的排序后悔界，特别是Kotlowski等人（2011年）的结果。
• 利用近期关于适当损失的研究结果，在低噪声条件下推导出更紧的后悔界。
• 建立一个理论基础，以支持标准算法（如AdaBoost和逻辑回归）在排序任务中经验成功的合理性。

提出的方法

• 通过条件贝叶斯风险的强严格凹性及一个正则性条件，引入强适当复合损失的概念。
• 利用Reid和Williamson（2010, 2011年）关于适当（复合）损失的性质，推导出不依赖于成对分类归约的后悔界。
• 采用一种新颖的分解方式，将排序后悔表示为估计类别概率与真实条件概率之间绝对偏差的形式。
• 利用一个关键不等式，表明错误排序意味着估计概率的显著偏差，从而实现上界推导。
• 利用Clémençon和Robbiano（2011年）的近期结果，在低噪声条件下推导出更紧的上界。
• 证明逻辑回归、指数损失、平方损失和平方合页损失等均为强适当损失的特例。

实验结果

研究问题

• RQ1 是否可以基于一类广泛非成对损失，不依赖成对归约，推导出双分类排序的代理后悔界？
• RQ2 哪类损失能确保通过代理风险最小化实现显式、与分布无关的排序后悔界？
• RQ3 所提出的框架如何简化或推广先前结果（如Kotlowski等人，2011年）？
• RQ4 能否利用所提出的损失类在低噪声条件下获得更紧的后悔界？
• RQ5 在强适当性表征中的正则性条件是否必要，或可被移除？

主要发现

• 本文定义并表征了一类新损失——强适当复合损失，其中逻辑回归、指数、平方和平方合页损失均为其特例。
• 证明了双分类排序后悔可被任意强适当损失相关后悔的常数倍所上界控制，且无需隐藏的平衡项。
• 该上界通过直接分析估计概率与真实概率之间的偏差获得，避免了对成对分类归约的依赖。
• 对于任意强适当损失，排序后悔满足 $\text{regret}_{D}^{\text{rank}}[\widehat{\eta}] \leq \frac{1}{p(1-p)} \mathbb{E}_X[|\widehat{\eta}(X) - \eta(X)|]$，其中 $p = \mathbb{P}(Y=1)$。
• 在低噪声条件下，通过指数为 $\frac{2}{3}$ 的项获得更紧的上界，优于标准上界中的 $\frac{1}{2}$ 指数。
• 证明技术显著简化于Kotlowski等人（2011年）的工作，仅依赖于适当损失的性质和基本不等式。