[論文レビュー] Surrogate Regret Bounds for Bipartite Ranking via Strongly Proper Losses

Shivani Agarwal|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Jul 2, 2012

Auction Theory and Applications参考文献 36被引用数 44

ひとこと要約

本稿は、広範な損失関数のクラスである強proper複合損失を導入し、二部ラーニングのための明示的でより一般化された代替レジュラー誤差境界を確立する。従来の研究とは異なり、隠れたバランス項を含まずに、ラーニング誤差がこれらの損失のレジュラー誤差によって上から抑えられることを示し、低ノイズ条件下ではより鋭い境界が得られる。

ABSTRACT

The problem of bipartite ranking, where instances are labeled positive or negative and the goal is to learn a scoring function that minimizes the probability of mis-ranking a pair of positive and negative instances (or equivalently, that maximizes the area under the ROC curve), has been widely studied in recent years. A dominant theoretical and algorithmic framework for the problem has been to reduce bipartite ranking to pairwise classification; in particular, it is well known that the bipartite ranking regret can be formulated as a pairwise classification regret, which in turn can be upper bounded using usual regret bounds for classification problems. Recently, Kotlowski et al. (2011) showed regret bounds for bipartite ranking in terms of the regret associated with balanced versions of the standard (non-pairwise) logistic and exponential losses. In this paper, we show that such (non-pairwise) surrogate regret bounds for bipartite ranking can be obtained in terms of a broad class of proper (composite) losses that we term as strongly proper. Our proof technique is much simpler than that of Kotlowski et al. (2011), and relies on properties of proper (composite) losses as elucidated recently by Reid and Williamson (2010, 2011) and others. Our result yields explicit surrogate bounds (with no hidden balancing terms) in terms of a variety of strongly proper losses, including for example logistic, exponential, squared and squared hinge losses as special cases. We also obtain tighter surrogate bounds under certain low-noise conditions via a recent result of Clemencon and Robbiano (2011).

研究の動機と目的

• 非ペアワイズの代替損失を用いた二部ラーニングのレジュラー誤差をバインドする一般化されたフレームワークを提供すること。
• 広く使われている損失関数を統合・拡張する新しい損失クラス「強proper複合損失」を定義・特徴づけること。
• Kotlowskiら（2011）の結果を含め、分布依存のバランス項を避けることで、従来のラーニングレジュラー誤差境界を単純化・一般化すること。
• 最近のproper損失に関する結果を活用し、低ノイズ条件下でより鋭いレジュラー誤差境界を導出すること。
• 標準的なアルゴリズム（例：AdaBoost やロジスティック回帰）のラーニングタスクにおける実験的成果を裏付ける理論的基盤を構築すること。

提案手法

• 強い凹型性と正則性条件を用いて定義される、強proper複合損失の概念を導入する。
• ReidとWilliamson（2010, 2011）のproper（複合）損失の性質を用い、ペアワイズ分類還元に依存せずにレジュラー誤差境界を導出する。
• 推定されたクラス確率と真の条件付き確率の絶対誤差に基づく、ラーニング誤差の新しい分解を適用する。
• 誤順序付けが推定確率の大きなずれを意味することを示す重要な不等式を用い、境界の導出を可能にする。
• ClémençonとRobbiano（2011）の最近の結果を活用し、低ノイズ条件下でより鋭い境界を導出する。
• ロジスティック損失、指数損失、二乗損失、二乗ハードマージン損失が、強proper損失の特別な場合であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ還元に依存せずに、広範な非ペアワイズ損失のクラスに対して、二部ラーニングの代替レジュラー誤差境界を導出できるか？
• RQ2 どの損失クラスが、代替リスク最小化によるラーニングにおいて明示的かつ分布に依存しないレジュラー誤差境界を保証するか？
• RQ3 提案されたフレームワークは、Kotlowskiら（2011）の結果をどのように単純化・一般化するか？
• RQ4 提案された損失クラスを用いることで、低ノイズ条件下でより鋭いレジュラー誤差境界を得られるか？
• RQ5 強proper性の特徴づけにおける正則性条件は必須であるか、それとも取り除けるか？

主な発見

• 本稿は、ロジスティック損失、指数損失、二乗損失、二乗ハードマージン損失が特別な場合である新しい損失クラス「強proper複合損失」を定義・特徴づける。
• 二部ラーニングのレジュラー誤差が、任意の強proper損失に関連するレジュラー誤差の定数倍によって上から抑えられることを確立し、隠れたバランス項は一切不要である。
• ペアワイズ分類還元を避けるために、推定確率と真の条件付き確率のずれを直接分析することで境界を導出する。
• 任意の強proper損失に対して、$\text{regret}_{D}^{\text{rank}}[\widehat{\eta}] \leq \frac{1}{p(1-p)} \mathbb{E}_X[|\widehat{\eta}(X) - \eta(X)|]$ が成り立つ。ここで $p = \mathbb{P}(Y=1)$ である。
• 低ノイズ条件下では、レジュラー誤差項の指数が $\frac{2}{3}$ にまで改善され、標準的な境界の $\frac{1}{2}$ よりも鋭くなる。
• Kotlowskiら（2011）の証明手法に比べ、本稿の証明手法は著しく単純で、proper損失の性質と基本的な不等式のみに依存する。