[논문 리뷰] Surrogate Regret Bounds for Bipartite Ranking via Strongly Proper Losses

Shivani Agarwal|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|2012. 07. 02.

Auction Theory and Applications참고 문헌 36인용 수 44

한 줄 요약

이 논문은 강력한 적합성 복합 손실이라는 넓은 범주를 도입함으로써 이분법적 랭킹에 대한 명시적 서브스티튜트 위험 경계를 수립한다. 이는 이전 연구보다 더 단순하고 일반적인 프레임워크를 제공하며, 숨겨진 균형 조건 없이 랭킹 위험을 이러한 손실의 위험으로 상한선을 제시한다. 저소음 조건 하에서는 더 날카운 경계를 얻을 수 있다.

ABSTRACT

The problem of bipartite ranking, where instances are labeled positive or negative and the goal is to learn a scoring function that minimizes the probability of mis-ranking a pair of positive and negative instances (or equivalently, that maximizes the area under the ROC curve), has been widely studied in recent years. A dominant theoretical and algorithmic framework for the problem has been to reduce bipartite ranking to pairwise classification; in particular, it is well known that the bipartite ranking regret can be formulated as a pairwise classification regret, which in turn can be upper bounded using usual regret bounds for classification problems. Recently, Kotlowski et al. (2011) showed regret bounds for bipartite ranking in terms of the regret associated with balanced versions of the standard (non-pairwise) logistic and exponential losses. In this paper, we show that such (non-pairwise) surrogate regret bounds for bipartite ranking can be obtained in terms of a broad class of proper (composite) losses that we term as strongly proper. Our proof technique is much simpler than that of Kotlowski et al. (2011), and relies on properties of proper (composite) losses as elucidated recently by Reid and Williamson (2010, 2011) and others. Our result yields explicit surrogate bounds (with no hidden balancing terms) in terms of a variety of strongly proper losses, including for example logistic, exponential, squared and squared hinge losses as special cases. We also obtain tighter surrogate bounds under certain low-noise conditions via a recent result of Clemencon and Robbiano (2011).

연구 동기 및 목표

• 비쌍순서 서브스티튜트 손실을 사용한 이분법적 랭킹 위험 경계를 일반화된 프레임워크로 제공하기 위해.
• 기존에 널리 사용되는 손실들을 통합하고 확장하는 새로운 손실 클래스인 강력한 적합성 복합 손실을 정의하고 특성화하기 위해.
• 분포에 의존하는 균형 조건을 피하는 것으로, Kotlowski 등(2011)의 결과를 단순화하고 일반화하기 위해.
• 최근의 적합한 손실에 관한 결과를 활용하여 저소음 조건 하에서 더 날카운 위험 경계를 유도하기 위해.
• 표준 알고리즘(예: AdaBoost, 로지스틱 회귀)의 랭킹 작업에서의 경험적 성공을 뒷받침하는 이론적 기초를 마련하기 위해.

제안 방법

• 강력한 볼록성과 정규성 조건을 통해 정의된 강력한 적합성 복합 손실의 개념을 도입한다.
• Reid와 Williamson(2010, 2011)의 적합(복합) 손실 성질을 활용하여, 쌍순서 분류 감소에 의존하지 않는 위험 경계를 도출한다.
• 추정된 클래스 확률과 진짜 조건부 확률 간의 절대 편차로 랭킹 위험을 새로운 방식으로 분해한다.
• 잘못된 랭킹이 추정된 확률에서 큰 편차를 야기한다는 핵심 부등식을 활용하여 경계 유도를 가능하게 한다.
• Clémençon과 Robbiano(2011)의 최근 결과를 활용하여 저소음 조건 하에서 더 날카운 경계를 도출한다.
• 로지스틱, 지수, 제곱, 제곱 허프 손실 등이 강력한 적합성 손실의 특수한 경우임을 보여준다.

실험 결과

연구 질문

• RQ1 쌍순서 감소에 의존하지 않고, 넓은 범주에 속하는 비쌍순서 손실에 대해 이분법적 랭킹의 서브스티튜트 위험 경계를 도출할 수 있는가?
• RQ2 어떤 손실 클래스가 서브스티튜트 위험 최소화를 통한 랭킹에 대해 명시적이고 분포에 무관한 위험 경계를 보장하는가?
• RQ3 제안된 프레임워크는 Kotlowski 등(2011)의 결과를 어떻게 단순화하거나 일반화하는가?
• RQ4 제안된 손실 클래스를 사용하여 저소음 조건 하에서 더 날카운 위험 경계를 얻을 수 있는가?
• RQ5 강력한 적합성의 특성화에서 정규성 조건은 필수적인가, 아니면 제거할 수 있는가?

주요 결과

• 논문은 로지스틱, 지수, 제곱, 제곱 허프 손실이 특수한 경우인 새로운 손실 클래스인 강력한 적합성 복합 손실을 정의하고 특성화한다.
• 이중 랭킹 위험은 어떤 강력한 적합성 손실의 위험보다 상수배로 상한선이 있으며, 숨겨진 균형 조건이 없다.
• 이 경계는 쌍순서 분류 감소가 필요 없이 추정된 확률과 진짜 조건부 확률 간의 편차를 직접 분석함으로써 도출된다.
• 모든 강력한 적합성 손실에 대해 다음이 성립한다: $\text{regret}_{D}^{\text{rank}}[\widehat{\eta}] \leq \frac{1}{p(1-p)} \mathbb{E}_X[|\widehat{\eta}(X) - \eta(X)|]$, 여기서 $p = \mathbb{P}(Y=1)$.
• 저소음 조건 하에서는 경계 항에 $\frac{2}{3}$ 제곱 지수를 얻어, 기존 경계의 $\frac{1}{2}$ 지수보다 향상된다.
• Kotlowski 등(2011)의 증명 기법보다 훨씬 단순하며, 오직 적합한 손실의 성질과 기본 부등식에 의존한다.